Das Versprechen
Moonshine v2 ist ein Speech-to-Text-Modell (STT) mit offenen Gewichten, das speziell für Echtzeit-Streaming auf Edge-Geräten entwickelt wurde. Es verzichtet auf das feste 30-Sekunden-Fenster von OpenAIs Whisper. Das Team von Pete Warden bei Useful Sensors hat es entwickelt und zielt auf eine Latenz unter 100 ms für interaktive Sprachschnittstellen auf handelsüblicher Hardware (Quelle: petewarden.com).
Unter der Haube
Der zentrale technische Wechsel in Moonshine v2 ist der Übergang zu einer Architektur mit „ergodischem Streaming-Encoder“ und Sliding-Window-Attention (Quelle: arXiv:2602.12241v1). Damit kann das Modell Audio fortlaufend verarbeiten, statt auf einzelne Abschnitte zu warten. Genau das war bisher der größte Engpass für Whisper-basierte Implementierungen in der Produktion.
Laut Leistungsdaten erreicht das Modell Moonshine v2 Medium eine Wortfehlerrate (WER) von 6,65 % mit nur 245 Millionen Parametern (Quelle: GitHub). Zum Vergleich: Whisper Large v3 braucht 1,5 Milliarden Parameter für eine ähnliche Genauigkeit. Moonshine ist damit pro Parameter deutlich effizienter. Auf Edge-Geräten wie dem Raspberry Pi 5 oder einem Mac liegt es derzeit bei 40-mal schnelleren Antwortzeiten als Whisper Large v3.
Bei der reinen Genauigkeit ist Moonshine jedoch nicht unangefochten führend. Beim Verhältnis von Effizienz zu Genauigkeit liegt es vorn, doch NVIDIAs Parakeet V3 und Canary-Qwen 2.5B erreichen Anfang 2026 auf dem OpenASR Leaderboard weiterhin eine niedrigere absolute WER. Zudem braucht Moonshine für diese Benchmarks sprachspezifische Modelle wie Moonshine-Medium-EN und verzichtet damit auf den mehrsprachigen Einheitskomfort des OpenAI-Ökosystems.
Das Ökosystem ist noch im Aufbau. Die Implementierungen in Python und C++ sind für den allgemeinen Einsatz stabil. Die Bibliothek für bestimmte IoT-Beschleuniger reift aber noch und hat nicht die breite Community-Unterstützung von FasterWhisper oder TensorRT-LLM (Quelle: GitHub). Wir wissen auch noch nicht, wie Moonshine im Vergleich zu den nativen Audio-APIs von GPT-5 oder Gemini 2.5 abschneidet, da unabhängige Benchmarks gegen diese proprietären Modelle von 2026 derzeit fehlen.
Unsere Einschätzung
Wenn Ihr Stack auf Whisper basiert und Sie es leid sind, die 30-Sekunden-Verzögerung zu umgehen, wechseln Sie für Ihre englischsprachigen Produktions-Workloads zu Moonshine v2. Es ist das erste Modell mit offenen Gewichten, das Transkription auf Edge-Geräten unter 100 ms wirklich praktikabel macht, ohne ein Rack voller H100 zu benötigen. Ich würde das „Medium“-Modell vorerst ignorieren und für Sprachoberflächen direkt zur „Tiny“-Version greifen. Bei 50 ms Latenz fühlt sich ein Bot nicht mehr wie ein Bot an, sondern wie ein Werkzeug.