01O que ele sabe fazer
- Medalha de ouro na IMO 2025 e na IOI 2025
- Inferência rápida (3B ativos em produção)
- Cabe em uma GPU de 24 GB em Q4
- NVIDIA Open Model License (uso comercial autorizado)
- —Licença NVIDIA Open Model (não Apache/MIT)
- —32+ GB em Q4 (modelo completo de 30B)
- —Modo de raciocínio pode ser lento na geração
05Instalar
Instale Ollama para seu SO. Verifique o modelo e sua quantização antes do download. Comece com 4096 tokens de contexto, depois verifique a alocação com ollama ps. Um comando abaixo não é prova de teste executado na sua máquina.
02Memória necessária
Quantidade aproximada de VRAM da GPU necessária para executar este modelo, incluindo a memória adicional para um contexto de 4k tokens. Para um contexto mais longo, adicione ~1 GB a cada 8k tokens.
Qual hardware usar para Nemotron Cascade 2 30B-A3B?
Para executar Nemotron Cascade 2 30B-A3B localmente com quantização Q4, você precisa de aproximadamente 17 GB de VRAM. Uma opção para comparar: GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) — mantenha uma margem para o sistema e o contexto; verifique a compatibilidade do motor com a GPU.
Por que essa escolha? Nossa ficha completa sobre GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) →
Links afiliados — comissão possível sem custo adicional para você, recomendação independente. Como Parceiro Amazon, QualLLM obtém lucro com compras que atendem às condições exigidas.
Em deslocamento: Nemotron Cascade 2 30B-A3B também roda em um Notebook RTX (24 GB de VRAM) →
03Velocidade estimada
Tokens gerados por segundo em Q4_K_M, contexto 4k. Acima de 20 t/s, a leitura é confortável. Abaixo de 10 t/s, é apenas para testar.
04Benchmarks públicos
Pontuações reproduzidas a partir das fichas dos modelos ou de fontes do MMLU-Pro / da comunidade. Unidade: % de respostas corretas.