Família Command · 35B de parâmetros

Command R 35B v01

Command R original, otimizado para RAG. 10 idiomas. ⚠ Licença CC-BY-NC (não comercial).

Cohere·Licença CC-BY-NC 4.0·Contexto 125k tokens·Data de lançamento março de 2024·Cabe nos 128 GB de o AI TOP ATOM da GIGABYTE (link afiliado)← Catálogo

01O que ele sabe fazer

Pontos fortes
  • Primeiro modelo aberto para RAG/uso de ferramentas
  • 128k ctx
  • 10 idiomas
Limitações que você deve conhecer
  • —⚠ Licença CC-BY-NC (não comercial)
  • —Substituído pelo Command R+ 104B
Arquitetura
Denso 35B · otimizado para RAG e uso de ferramentas · GQA
Treinamento
10 idiomas avaliados, treinamento em 23 idiomas.
Ideal para
RAGUso de ferramentas10 idiomas

04Instalar

Instale Ollama para seu SO. Verifique o modelo e sua quantização antes do download. Comece com 4096 tokens de contexto, depois verifique a alocação com ollama ps. Um comando abaixo não é prova de teste executado na sua máquina.

$ollama run command-r:35b
⚠
Primeiro download: entre 2 e 40 GB, dependendo da quantização escolhida. Reserve espaço em disco; recomenda-se uma conexão estável. As execuções seguintes são instantâneas.

02Memória necessária

Quantidade aproximada de VRAM da GPU necessária para executar este modelo, incluindo a memória adicional para um contexto de 4k tokens. Para um contexto mais longo, adicione ~1 GB a cada 8k tokens.

Q4_K_M
O mais leve, ~5% de perda
20 GB
Q5_K_M
Bom equilíbrio entre qualidade e tamanho
25 GB
Q8_0
Quase indistinguível de FP16
37 GB
FP16
Precisão total — uso em servidor
70 GB
Fallback para CPU · Se você não tiver GPU, considere 32 GB de RAM mínimo para executar este modelo em velocidade reduzida.

Qual hardware usar para Command R 35B v01?

Para executar Command R 35B v01 localmente com quantização Q4, você precisa de aproximadamente 20 GB de VRAM. Uma opção para comparar: GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) — mantenha uma margem para o sistema e o contexto; verifique a compatibilidade do motor com a GPU.

Oferta atual: GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395)
AmazonVer o preço →

Por que essa escolha? Nossa ficha completa sobre GMKtec EVO-X2 64 GB / 1 TB (Ryzen AI Max+ 395) →

Links afiliados — comissão possível sem custo adicional para você, recomendação independente. Como Parceiro Amazon, QualLLM obtém lucro com compras que atendem às condições exigidas.

Em deslocamento: Command R 35B v01 também roda em um Notebook RTX (24 GB de VRAM) →

Este modelo no seu ChatGPT privado, sem nuvem

Seu ChatGPT privado e gratuito na sua máquina em 1 hora — LM Studio, Ollama, Open WebUI, seus documentos, sem nuvem.

  • Espaço online vitalício
  • PDF + arquivos
  • Atualizações vitalícias

03Velocidade estimada

Tokens gerados por segundo em Q4_K_M, contexto 4k. Acima de 20 t/s, a leitura é confortável. Abaixo de 10 t/s, é apenas para testar.

Categoria de entrada
~3t/s
GTX 1650, RX 6600, MBA M2 8 GB
Categoria intermediária
~12t/s
RTX 4060, 4070, MBP M3 Pro
Topo de linha
~28t/s
RTX 4090, M4 Max, Radeon 7900