Das Versprechen
whichllm ist ein CLI-Programm, das die Zuordnung von Hardware zu Modellen automatisiert. Es scannt die lokalen Systemressourcen und gleicht sie mit Leistungsdaten von HuggingFace ab (GitHub). Ziel ist es, die manuellen VRAM-Berechnungen und die Quantisierungsmathematik überflüssig zu machen, die man sonst braucht, um das optimale lokale Modell für eine bestimmte Infrastruktur zu wählen.
Unter der Haube
Das Tool erkennt automatisch Hardware von NVIDIA, AMD und Apple Silicon und ermittelt so die verfügbare Rechenleistung und den Speicherspielraum (GitHub README). Es bezieht echte Evaluierungswerte ein und nutzt dabei eine „konfidenzbasierte Dämpfung“, die unzuverlässige Benchmark-Ergebnisse herausfiltern soll (GitHub Source).
Für den Einsatz bietet es den Befehl „whichllm run“, der empfohlene Modelle sofort herunterlädt und eine Chat-Sitzung startet (GitHub README). Die Engine nutzt einen lokalen Cache für HuggingFace-Metadaten, um die Latenz bei der Auswahl zu senken (GitHub Source).
Derzeit leidet das Tool jedoch unter kritischen Umgebungsproblemen. Die Installation über Homebrew schlägt bei vielen Nutzern unter macOS 26 fehl, weil Konflikte zwischen Rosetta- und ARM-Präfixen ungelöst sind (GitHub Issue #4624).
Außerdem hinkt die Modelldatenbank dem Stand vom Mai 2026 hinterher. Nutzer berichten, dass das Tool häufig ältere Gewichte wie Qwen 2.5 vorschlägt, selbst wenn die Hardware aktuelle S-Tier-Modelle wie Qwen 3.6 ausführen könnte (HN Comment).
Wir beobachten zudem einen deutlichen Einbruch der Geschwindigkeit bei der Token-Generierung, wenn auf Consumer-Hardware lange Kontextfenster genutzt werden (HN Comment). Wir wissen noch nicht, wie oft die internen Benchmark-Metadaten mit den aktuellen Bestenlisten von 2026 abgeglichen werden. Auch die Logik zur Schätzung des Stromverbrauchs für agentische Anwendungsfälle ist nicht öffentlich.
Unsere Einschätzung
whichllm ist ein persönlicher Einkaufsberater für Ihre GPU, allerdings einer, der Ihnen derzeit hartnäckig die Mode der letzten Saison verkaufen will. Die Hardware-Erkennung ist technisch solide. Doch die veraltete Modelldatenbank und die defekte Installation unter macOS 26 machen das Tool für jeden ernsthaften Backend-Workflow zur Geduldsprobe. Probieren Sie es als Nebenprojekt aus, wenn Sie mit Linux arbeiten. Halten Sie Ihren Produktions-Stack aber fern davon, bis die Gewichtsempfehlungen und das Homebrew-Präfix behoben sind.