Qual LLM usar na RTX 2060 / 2060 Super (6-8 GB) ?

#RTX 2060, 2060 Super, 2060 12 GB: três placas, três usos

A RTX 2060 foi lançada em 15 de janeiro de 2019, a 2060 Super em 9 de julho de 2019 e uma variante da 2060 com 12 GB em 7 de dezembro de 2021, de acordo com a tabela das GeForce série 20 da Wikipédia. Todas são baseadas no chip Turing TU106. Para um LLM, o que importa é a memória (capacidade, barramento, largura de banda), mais do que os núcleos CUDA.

A 2060 Super oferece 448 GB/s de largura de banda contra 336 GB/s da 2060 original: com o mesmo modelo, ela gera cerca de um terço mais rápido. A variante de 12 GB é rara e chegou tarde, mas é de longe a mais interessante para IA local: é a única das três que permite que um 14B em Q4 (aproximadamente 9 GB) caiba com folga. Verifique, portanto, a capacidade exata da placa antes de qualquer compra: apenas o nome não a indica.

#O que cada variante executa

A regra é a mesma para qualquer placa: os pesos em Q4 (referência do site: 3B ≈ 2 GB, 7-8B ≈ 5 GB, 14B ≈ 9 GB) mais o cache de contexto e cerca de 0,5 GB reservados pelo sistema e pelo mecanismo de inferência. A tabela também indica o limite teórico de geração, que é a largura de banda dividida pelo tamanho dos pesos. Não temos medições de velocidade de geração nessas placas e não citamos nenhuma.

Esses limites nunca são atingidos na prática; servem para comparar as placas entre si e saber se um modelo será interativo. Um modelo que pesa o dobro gera a aproximadamente metade da velocidade. Para conversar, qualquer taxa real acima de cerca de dez tokens por segundo é confortável para a leitura.

#Turing em 2026: ainda com suporte

A idade da placa preocupa menos do que se imagina. A documentação do Ollama indica que ele oferece suporte a GPUs NVIDIA com capacidade de computação 5.0 ou superior e driver 550 ou mais recente, e lista a RTX 2060 na família de capacidade 7.5. As notas de versão do CUDA 13, por sua vez, indicam que o suporte a Maxwell, Pascal e Volta foi removido de algumas bibliotecas: a geração Turing é a mais antiga que permanece nesse caminho. Isso é um argumento a favor da 2060 em relação às GTX 10 a longo prazo, embora o Ollama ainda ofereça suporte às capacidades 5.0 a 6.2 com driver 570 ou mais recente: o risco é que as próximas funcionalidades sejam voltadas apenas às arquiteturas recentes.

Não é a capacidade de processamento que limita a geração de texto nessa placa, mas a largura de banda da memória: portanto, não pague mais apenas pelos Tensor Cores. O driver é o verdadeiro requisito: uma instalação atualizada evita a maioria das falhas de detecção da GPU.

#O cálculo de memória para sua placa

O cálculo é feito em três linhas: memória da placa, menos aproximadamente 0,5 GB reservados pelo sistema e pelo motor, menos o tamanho dos pesos do modelo, resulta no espaço restante para o cache de contexto. O consumo do cache por token depende da arquitetura do modelo; a calculadora do site informa esse valor para um modelo específico, e a quantização do cache em q8_0 reduz esse consumo aproximadamente à metade.

Essa tabela explica por que a mesma família de modelos é agradável de usar na Super e penosa na versão de 6 GB: com menos de um gigabyte de margem, alguns milhares de tokens de contexto bastam para que parte do modelo passe a ser executada na CPU. Ela também mostra que rodar o 14B em 12 GB é possível, mas deixa pouca folga: 2,2 GB para o contexto, o que exige uma janela curta.

• Calculadora de memória para um modelo e um contexto

#Dicas para as versões de 6 GB e 8 GB

Para a placa de 6 GB, o guia "Qual LLM para 6 GB de VRAM" detalha o orçamento completo de memória; em resumo, procure um modelo de 4B ou um de 8B com contexto curto. Na Super de 8 GB, o contexto passa a ser o primeiro parâmetro a monitorar.

1. 01
   Instalar um driver recente

   Atualize o driver NVIDIA para versão 550 ou mais recente, como exige o Ollama, e depois instale o Ollama no seu sistema.
2. 02
   Escolher o tamanho do modelo

   6 GB: um 4B, ou um 8B com contexto curto. 8 GB: um 8B em Q4 com um contexto de 4 000 a 8 000 tokens. 12 GB: um 14B em Q4, contexto curto.
3. 03
   Reduzir o cache de contexto

   Ative o Flash Attention e a quantização do cache em q8_0: ela reduz aproximadamente pela metade a memória do cache em comparação com f16, de acordo com a FAQ do Ollama.
4. 04
   Verificar com o ollama ps

   A coluna Processor deve mostrar 100% GPU. Uma divisão entre CPU e GPU indica que o modelo excede a capacidade da memória da GPU, resultando em uma velocidade mais baixa.
5. 05
   Fechar os aplicativos que consomem muitos recursos

   Um navegador com aceleração de hardware ou um jogo ocupam VRAM que o modelo não poderá usar.

OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q8_0
OLLAMA_CONTEXT_LENGTH=6144

A FAQ do Ollama também propõe uma quantização q4_0 do cache, mais agressiva, que reduz ainda mais o uso de memória ao custo de uma possível perda de qualidade; teste-a no seu caso de uso antes de mantê-la.

• Qual LLM para 6 GB de VRAM
• Qual LLM para 8 GB de VRAM
• Quantizar o cache KV

#O que realmente se pode fazer com uma 2060

Chat e redação

Um modelo de 4B ou 8B responde corretamente no dia a dia; é nesse uso que a placa cumpre melhor suas promessas.

RAG e documentos

Um pequeno modelo de 4B e um modelo de embedding cabem na memória; limite o número de trechos enviados.

Código

Autocompletar código com um pequeno modelo de código; nenhum agente confiável nesse tamanho.

O que excede a capacidade da placa

Contextos grandes, tarefas de visão pesadas, modelos de 14B em 6 ou 8 GB e qualquer agente que execute ferramentas em sequência com prompts longos.

A 2060 também é uma placa de 160 a 185 W: sob carga contínua, ela aquece e faz barulho como qualquer placa de sua categoria. O guia sobre gerenciamento térmico explica como limitar a potência de um servidor que funciona o dia todo.

• Otimizar o desempenho térmico durante a inferência

#Veredito e quando partir para outra opção

Uma RTX 2060 já instalada não precisa ser substituída se seus usos forem bate-papo, resumo de textos e RAG leve. Se você for comprar, a memória tem prioridade sobre tudo: a variante de 12 GB ou a 2060 Super de 8 GB são preferíveis à de 6 GB. Os preços mudam todas as semanas e não estão listados nesta página; o acompanhamento do site registra o preço mais baixo de cada placa.

Esta comparação corrige uma ideia comum: a RTX 3060 12 GB não é mais rápida que a 2060 Super para a geração de texto. Sua largura de banda é de 360 GB/s de acordo com a Wikipédia, contra 448 GB/s para a 2060 Super. Ela vence por capacidade: 12 GB permitem carregar modelos que a Super não consegue acomodar. Escolha com base no modelo desejado, não em um percentual geral de velocidade.

Se você comprar uma placa usada, verifique três coisas antes de decidir ficar com ela. Verifique no nvidia-smi a memória total informada: o nome da placa não é suficiente para diferenciar as variantes de 6, 8 e 12 GB. Execute uma geração contínua por cerca de vinte minutos e monitore a temperatura e a frequência do núcleo da GPU: uma placa que perde muito desempenho precisa de limpeza ou de pasta térmica nova. Por fim, teste um modelo real com o contexto desejado e verifique com ollama ps se ele permanece inteiramente na placa.

• Qual LLM para RTX 3060 12 GB
• Qual LLM na RTX 2070 / 2070 Super
• Qual LLM em uma RTX 3050
• Acompanhamento dos preços das placas de vídeo para IA local
• Fonte: Wikipédia, série GeForce 20
• Fonte: Ollama, hardware compatível
• Fonte: FAQ oficial do Ollama

#Perguntas frequentes