Preços das placas de vídeo para aIA local

Qual placa de vídeo comprar para rodar um LLM localmente?

Verifique primeiro a memória de vídeo (VRAM): o modelo deve caber inteiramente nela; caso contrário, parte dele passa para a memória RAM do PC e a velocidade despenca. Em Q4, 12 GB são suficientes para modelos com até cerca de 14 bilhões de parâmetros, 16 GB para até cerca de 24 bilhões, 24 a 32 GB para modelos com 30 a 35 bilhões e 48 GB para até cerca de 70 bilhões. Com a mesma quantidade de memória, a largura de banda faz a diferença: ela determina a velocidade de geração.

NVIDIA, AMD ou Intel para IA local?

A NVIDIA continua sendo a opção mais simples: CUDA é compatível com todas as ferramentas (Ollama, LM Studio, llama.cpp, vLLM). As Radeon RX 9000 e AI PRO R9700 têm suporte no Ollama (ROCm 7), no LM Studio e no llama.cpp, às vezes com um pouco mais de ajustes. As Intel Arc usam principalmente Vulkan ou SYCL (llama.cpp, LM Studio) e OpenVINO: costumam oferecer a VRAM mais barata, mas têm o ecossistema menos maduro.

A RTX 5090 vale o que custa para uso em IA?

É a placa para consumidor mais rápida (1 792 GB/s) com 32 GB, mas custava 6 699,95 € no último registro, contra 2 349 € no lançamento. Para 32 GB, uma Radeon AI PRO R9700 (2 299,95 €) ou uma Intel Arc Pro B70 (2 299,95 €) custa bem menos, com uma velocidade cerca de 2,8 vezes menor. Para modelos muito grandes, um mini-PC com 128 GB de memória unificada permanece a alternativa.

De onde vêm esses preços e quando são atualizados?

Do feed de produtos da Materiel.net, nossa parceira, coletado automaticamente toda segunda-feira e quinta-feira. Para cada chip, selecionamos a placa mais barata em estoque ou com envio em até 7 dias, considerando todas as marcas. Os preços da Amazon não são arquivados: a Amazon permite apenas a exibição de preços recentes, portanto eles aparecem em tempo real nos botões. Os links são de afiliados: uma compra gera uma comissão para nós, sem custo adicional para você, e não influencia a classificação, calculada automaticamente.

Como é estimada a velocidade?

Para gerar cada token, a placa relê todo o modelo na memória: a velocidade máxima é aproximadamente a largura de banda dividida pelo tamanho do modelo. Usamos 70% desse valor para um modelo de 14 bilhões de parâmetros em Q4 (aproximadamente 9 GB). As medições reais variam conforme o software e os drivers: é uma ordem de grandeza para comparar as placas, não uma promessa.