01O que ele sabe fazer
- MoE 320B/18B ativos: carro-chefe multimodal
- Licença MIT permissiva
- Contexto nativo de 128k
- Chat multimodal / código / visão
- —Classe de servidor multi-GPU (~186 GB de VRAM em Q4)
- —Pesos com acesso restrito no Hugging Face (aceitação necessária)
- —Taxa de transferência moderada considerando o tamanho total
04Instalar
Instale Ollama para seu SO. Verifique o modelo e sua quantização antes do download. Comece com 4096 tokens de contexto, depois verifique a alocação com ollama ps. Um comando abaixo não é prova de teste executado na sua máquina.
02Memória necessária
Quantidade aproximada de VRAM da GPU necessária para executar este modelo, incluindo a memória adicional para um contexto de 4k tokens. Para um contexto mais longo, adicione ~1 GB a cada 8k tokens.
Qual hardware usar para GLM 5.3 Flash 320B-A18B?
Para executar GLM 5.3 Flash 320B-A18B localmente com quantização Q4, você precisa de aproximadamente 186 GB de VRAM. Uma opção para comparar: BOSGAME M5 128GB / 2TB (Ryzen AI Max+ 395) — este modelo excede a capacidade de GPU deste mini-PC: escolha um modelo menor ou uma infraestrutura adequada.
Por que essa escolha? Nossa ficha completa sobre BOSGAME M5 128GB / 2TB (Ryzen AI Max+ 395) →
Links afiliados — comissão possível sem custo adicional para você, recomendação independente. Como Parceiro Amazon, QualLLM obtém lucro com compras que atendem às condições exigidas.
03Velocidade estimada
Tokens gerados por segundo em Q4_K_M, contexto 4k. Acima de 20 t/s, a leitura é confortável. Abaixo de 10 t/s, é apenas para testar.