O pitch
O whichllm é um utilitário de CLI que automatiza a correspondência entre hardware e modelo: ele analisa os recursos do sistema local e cruza essas informações com dados de desempenho do HuggingFace (GitHub). O objetivo é eliminar os cálculos manuais de VRAM e de quantização normalmente necessários para escolher o modelo local ideal para uma infraestrutura específica.
Por dentro
A ferramenta detecta automaticamente hardware NVIDIA, AMD e Apple Silicon para determinar a capacidade de computação e a margem de memória disponíveis (GitHub README). Ela incorpora pontuações reais de avaliação com uma lógica de “amortecimento baseado em confiança”, criada para filtrar resultados de benchmark pouco confiáveis (código-fonte no GitHub).
Para a implantação, ela oferece o comando 'whichllm run', que baixa na hora os modelos recomendados e abre sessões de chat com eles (GitHub README). O motor usa um cache local de metadados do HuggingFace para reduzir a latência durante a seleção (código-fonte no GitHub).
No entanto, a ferramenta sofre hoje com problemas críticos de ambiente. A instalação via Homebrew está falhando para muitos usuários no macOS 26 por causa de conflitos de prefixo Rosetta/ARM ainda não resolvidos (GitHub Issue #4624).
Além disso, o banco de dados de modelos está atrasado em relação ao cenário de maio de 2026. Usuários relatam que a ferramenta sugere com frequência pesos antigos, como o Qwen 2.5, mesmo quando o hardware consegue rodar modelos atuais de nível S, como o Qwen 3.6 (comentário no HN).
Também observamos uma queda significativa na velocidade de geração de tokens ao usar janelas de contexto longas em hardware de consumo (comentário no HN). Ainda não sabemos com que frequência os metadados internos de benchmark são sincronizados com os rankings atuais de 2026, e a lógica de estimativa de consumo de energia para casos de uso agênticos também não é pública.
Nossa opinião
O whichllm é um personal shopper para a sua GPU, só que, por enquanto, insiste em vender a coleção da estação passada. A detecção de hardware é tecnicamente sólida, mas a dependência de um banco de dados de modelos desatualizado e a instalação quebrada no macOS 26 o tornam frustrante para qualquer workflow sério de backend. Brinque com ele como projeto paralelo se você usa Linux, mas mantenha sua stack de produção bem longe até que corrijam as recomendações de pesos e o problema de prefixo do Homebrew.