Qual LLM na Radeon RX 6700 XT (12 GB) ?

#O que uma RX 6700 XT faz em 2026

Uma Radeon RX 6700 XT serve muito bem como placa de entrada para um LLM local, desde que você aceite três fatos: seus 12 GB de memória acomodam um modelo de 14 bilhões de parâmetros em Q4 (aproximadamente 9 GB de pesos), mas não um de 24B; a opção de software confiável para ela é o Vulkan, via llama.cpp ou Ollama, porque a AMD não a lista no ROCm; e sua velocidade de geração, limitada pela largura de banda de 384 GB/s, é suficiente para uma conversa fluida com modelos de 8B a 12B. Em um modelo de 7B em Q4_0, uma medição publicada no repositório llama.cpp mostra 83,88 tokens por segundo em geração com Vulkan, um pouco mais do que a RTX 3060 de 12 GB medida na mesma discussão. O verdadeiro ponto fraco é a leitura do prompt, que é duas vezes mais lenta.

Arquitetura

RDNA 2, chip Navi 22, lançada em 18 de março de 2021 (página da Wikipédia sobre a série RX 6000).

Cálculo

2.560 processadores de fluxo, 40 unidades de cálculo

Memória

12 GB GDDR6, barramento de 192 bits, 384 GB/s.

Consumo

230 W de potência da placa.

Preço

Não informado aqui: os preços de equipamentos usados mudam toda semana; consulte /prix-gpu-ia.

#Ollama, ROCm ou Vulkan: o caminho que funciona

A armadilha mais comum com esta placa é procurar um guia ROCm. A documentação do Ollama lista, para Linux, as Radeon RX da 6800 à 9070 XT: a 6700 XT não está na lista. Quanto ao ROCm, a tabela de compatibilidade da AMD cita, na arquitetura RDNA 2, apenas placas profissionais como a PRO W6800 ou a V620. O Ollama amplia essa cobertura com Vulkan, ativado por padrão quando o backend está instalado, e é esse caminho que continua disponível para uma 6700 XT. Existe uma alternativa para contornar a limitação do ROCm: a variável HSA_OVERRIDE_GFX_VERSION, que força um alvo LLVM próximo, mas seu uso é restrito à experimentação.

#O que cabe em 12 GB de VRAM

A regra do site permanece a mesma: o peso do modelo em Q4 mais o cache KV mais uma margem para o driver e a exibição. Com 12 GB, um orçamento realista deixa cerca de 11 GB para o modelo e seu contexto, se a placa não alimentar a tela. Os tamanhos abaixo vêm do catálogo QuelLLM e de nossos referenciais habituais; correspondem apenas aos pesos dos modelos.

O cache KV cresce com o tamanho da conversa, o que explica por que um modelo de 14B "cabe" no papel, mas fica muito lento assim que o histórico aumenta. A calculadora de VRAM do site fornece o total exato para o seu modelo e o seu contexto, e o guia sobre a quantização do cache KV explica como recuperar um ou dois gigabytes. Para todas as placas de 12 GB, a página dedicada compara os modelos sem se limitar à AMD.

• Calculadora de VRAM para um modelo e um contexto dados
• Qual LLM para 12 GB de VRAM, independentemente da placa
• Quantizar o cache KV para economizar VRAM

#Taxas medidas e limite de largura de banda

Nenhuma taxa de processamento apresentada nesta página foi medida pelo site. Os números vêm da discussão pública no repositório llama.cpp, que compara as placas usando Vulkan com o mesmo modelo, Llama 2 7B em Q4_0 (3,56 GiB), e o comando llama-bench. Duas métricas importam nessa discussão: pp512, a velocidade de leitura de um prompt de 512 tokens, e tg128, a velocidade de escrita de 128 tokens. Para a RX 6700 XT, a discussão informa 1.051 tokens por segundo em leitura e 83,88 em geração; com a Flash Attention ativada, 1.011 e 81,86.

Este resultado pode ser comparado a um limite simples: durante a geração, cada token exige que a placa releia todos os pesos, portanto a velocidade máxima gira em torno da largura de banda dividida pelo tamanho do modelo. Aqui, 384 GB/s para 3,82 GB de pesos dão um limite teórico de 100 tokens por segundo; a placa atinge 83% desse limite, uma boa eficiência, superior à de várias placas mais recentes mencionadas na mesma discussão.

Essas estimativas pressupõem que o desempenho medido no modelo de 7B se mantenha nos modelos maiores, o que não é garantido: um driver, uma versão do llama.cpp ou uma quantização diferente pode alterar o resultado em vários pontos. Quanto à leitura dos prompts, considere apenas a proporção entre as placas: essa leitura é o que pesa em um uso de RAG com documentos longos.

#Em comparação com a RTX 3060 de 12 GB: geração mais rápida, processamento do prompt mais lento

A comparação habitual aponta a RTX 3060 12 GB como vencedora graças ao CUDA. As medições publicadas com Vulkan relativizam essa conclusão automática. Na geração, a RX 6700 XT supera a RTX 3060 nos dois modos; na leitura do prompt, a RTX 3060 tem desempenho quase duas vezes melhor. As duas séries vêm da mesma discussão, mas de versões diferentes do llama.cpp: interprete a diferença como uma ordem de grandeza, não como uma classificação definitiva.

Consequência prática: para conversar com um modelo, as duas placas se equivalem; para fazer perguntas sobre um documento longo, a RTX 3060 responde mais rápido com a primeira palavra. O CUDA também mantém a vantagem do ecossistema, com menos soluções alternativas que você precisa conhecer. Com preços equivalentes no mercado de usados, a RTX 3060 de 12 GB continua sendo a escolha prudente, e a 6700 XT só é um bom negócio se já estiver no seu PC ou for significativamente mais barata.

• Qual LLM na RTX 3060 12 GB, a placa concorrente direta

#Como começar passo a passo

1. 01
   Verificar o driver Vulkan

   No Windows, o driver Radeon inclui Vulkan e o Ollama não exige nenhuma etapa adicional. No Linux, instale os componentes Vulkan do Mesa (RADV) ou o driver AMD, conforme indicado na documentação do Ollama.
2. 02
   Instalar Ollama ou compilar llama.cpp

   Ollama ativa o Vulkan por padrão após a instalação do backend. Com o llama.cpp, compile com a opção -DGGML_VULKAN=on.
3. 03
   Dar acesso à placa no Linux

   Adicione o usuário ollama ao grupo render se a placa não for detectada. Para que o Ollama leia a VRAM livre, execute-o como root ou conceda a capacidade indicada no comando abaixo.
4. 04
   Iniciar um primeiro modelo

   Baixe um 8B ou Gemma 4 12B em Q4_K_M, inicie com o comando ollama run e verifique com o comando ollama ps se o modelo está carregado na GPU e não no processador.
5. 05
   Medir no seu ambiente

   Execute o llama-bench com o mesmo GGUF usado na discussão pública para comparar sua placa com os resultados apresentados nela antes de procurar uma causa para a lentidão.

sudo setcap cap_perfmon+ep /usr/local/bin/ollama
# llama.cpp avec Vulkan
cmake .. -DGGML_VULKAN=on -DCMAKE_BUILD_TYPE=Release
./bin/llama-bench -m llama-2-7b.Q4_0.gguf -ngl 100 -fa 0,1

Se a taxa de geração parecer baixa com RADV, a discussão do llama.cpp recomenda iniciar com a variável de ambiente RADV_PERFTEST=nogttspill, que corrige vários problemas de desempenho. Os outros ajustes Vulkan estão no guia de compilação dedicado.

• Compilar o llama.cpp com Vulkan, passo a passo
• Ollama e GPU AMD: o que o ROCm realmente cobre

#Limites e momento de mudar para outra opção

Três limitações se destacam. Primeiro, a memória: 12 GB excluem os modelos de 20 a 32 bilhões de parâmetros, faixa em que se define a qualidade dos assistentes de código e de raciocínio. Em seguida, o processamento do prompt, que torna penosas as sessões com documentos longos. Por fim, o suporte: uma placa fora da lista oficial depende de as atualizações do Vulkan e do llama.cpp continuarem a contemplá-la, sem garantia de longo prazo.

• Radeon RX 7700 XT, etapa RDNA 3 com 12 GB, suporte oficial
• Radeon RX 7800 XT, 16 GB para acessar modelos de 20 a 24B

#Veredito 2026

Vale a pena

Se já estiver em sua máquina: é uma das poucas placas de 2021 que ainda aceita um modelo de 14B em Q4 com um rendimento de geração superior a 80% do seu limite teórico.

Compre preferencialmente uma RTX 3060 de 12 GB

Se você estiver começando do zero e tiver em mente o mesmo orçamento: leitura de prompt duas vezes mais rápida e nenhuma solução alternativa de software necessária.

Mude de placa

Assim que você quiser modelos de 20 a 30 bilhões de parâmetros; os preços mudam toda semana, e a página /prix-gpu-ia informa o custo por GB de VRAM.

• Preços das placas gráficas para IA local, atualizados duas vezes por semana
• Documentação Ollama: GPUs suportadas, ROCm e Vulkan
• Placar Vulkan do repositório llama.cpp (Llama 2 7B Q4_0)
• Compatibilidade de GPU do ROCm, documentação da AMD

#Perguntas frequentes