01O que ele sabe fazer
- Especialização em espanhol/português LATAM
- Base Llama 3.1 70B (qualidade comprovada)
- Contexto nativo de 128k
- Multilíngue (en/es/pt)
- —Nenhuma tag Ollama oficial (instalação via HF)
- —Licença Llama 3.1 Community (cláusula >700M MAU)
- —~41 GB de VRAM em Q4 (no mínimo uma RTX 3090/4090 ou um Mac com 64 GB ou mais)
04Instalar
Instale Ollama para seu SO. Verifique o modelo e sua quantização antes do download. Comece com 4096 tokens de contexto, depois verifique a alocação com ollama ps. Um comando abaixo não é prova de teste executado na sua máquina.
02Memória necessária
Quantidade aproximada de VRAM da GPU necessária para executar este modelo, incluindo a memória adicional para um contexto de 4k tokens. Para um contexto mais longo, adicione ~1 GB a cada 8k tokens.
Qual hardware usar para Llama 3.1 70B LatamGPT SFT?
Para executar Llama 3.1 70B LatamGPT SFT localmente com quantização Q4, você precisa de aproximadamente 41 GB de VRAM. Uma opção para comparar: BOSGAME M5 128GB / 2TB (Ryzen AI Max+ 395) — mantenha uma margem para o sistema e o contexto; verifique a compatibilidade do motor com a GPU.
Por que essa escolha? Nossa ficha completa sobre BOSGAME M5 128GB / 2TB (Ryzen AI Max+ 395) →
Links afiliados — comissão possível sem custo adicional para você, recomendação independente. Como Parceiro Amazon, QualLLM obtém lucro com compras que atendem às condições exigidas.
Muito grande para sua máquina? O kit fornece o modelo que cabe na sua VRAM
- Espaço online vitalício
- PDF + arquivos
- Atualizações vitalícias
03Velocidade estimada
Tokens gerados por segundo em Q4_K_M, contexto 4k. Acima de 20 t/s, a leitura é confortável. Abaixo de 10 t/s, é apenas para testar.