Família Hunyuan · 406B de parâmetros

Hunyuan Large 2.0

Ativos flagship 406B/32B. Contexto de 256k. ⚠ Licença customizada da Tencent.

🇨🇳 Tencent·Licença Tencent Hunyuan License·Contexto 256k tokens·Data de lançamento novembro de 2024← Catálogo

01O que ele sabe fazer

Pontos fortes
  • 262k de contexto
  • Forte em chinês
  • 52B de parâmetros ativos eficientes de um total de 406B
Limitações que você deve conhecer
  • —245 GB de VRAM Q4 — infraestrutura pesada necessária
  • —Licença Tencent a ser verificada
Arquitetura
MoE · 406B no total / 52B ativos · Tencent HunyuanLLM · contexto de 262k
Treinamento
Tencent — forte em chinês e inglês, RAG e documentos longos.
Ideal para
Fronteira com a ChinaContexto longo

04Instalar

Instale Ollama para seu SO. Verifique o modelo e sua quantização antes do download. Comece com 4096 tokens de contexto, depois verifique a alocação com ollama ps. Um comando abaixo não é prova de teste executado na sua máquina.

$# Infrastructure Tencent — non disponible en local standard
⚠
Primeiro download: entre 2 e 40 GB, dependendo da quantização escolhida. Reserve espaço em disco; recomenda-se uma conexão estável. As execuções seguintes são instantâneas.

02Memória necessária

Quantidade aproximada de VRAM da GPU necessária para executar este modelo, incluindo a memória adicional para um contexto de 4k tokens. Para um contexto mais longo, adicione ~1 GB a cada 8k tokens.

Q4_K_M
O mais leve, ~5% de perda
245 GB
Q5_K_M
Bom equilíbrio entre qualidade e tamanho
290 GB
Q8_0
Quase indistinguível de FP16
435 GB
FP16
Precisão total — uso em servidor
810 GB
Fallback para CPU · Se você não tiver GPU, considere 300 GB de RAM mínimo para executar este modelo em velocidade reduzida.

Qual hardware usar para Hunyuan Large 2.0?

Para executar Hunyuan Large 2.0 localmente com quantização Q4, você precisa de aproximadamente 245 GB de VRAM. Uma opção para comparar: BOSGAME M5 128GB / 2TB (Ryzen AI Max+ 395) — este modelo excede a capacidade de GPU deste mini-PC: escolha um modelo menor ou uma infraestrutura adequada.

Oferta atual: BOSGAME M5 128GB / 2TB (Ryzen AI Max+ 395)
AmazonVer o preço →

Por que essa escolha? Nossa ficha completa sobre BOSGAME M5 128GB / 2TB (Ryzen AI Max+ 395) →

Links afiliados — comissão possível sem custo adicional para você, recomendação independente. Como Parceiro Amazon, QualLLM obtém lucro com compras que atendem às condições exigidas.

Este modelo no seu ChatGPT privado, sem nuvem

Muito grande para sua máquina? O kit fornece o modelo que cabe na sua VRAM

  • Espaço online vitalício
  • PDF + arquivos
  • Atualizações vitalícias

03Velocidade estimada

Tokens gerados por segundo em Q4_K_M, contexto 4k. Acima de 20 t/s, a leitura é confortável. Abaixo de 10 t/s, é apenas para testar.

Categoria de entrada
~1t/s
GTX 1650, RX 6600, MBA M2 8 GB
Categoria intermediária
~4t/s
RTX 4060, 4070, MBP M3 Pro
Topo de linha
~12t/s
RTX 4090, M4 Max, Radeon 7900