Consistency Diffusion Language Models (CDLM) verkürzen die Inferenzlatenz bei Coding-Aufgaben um den Faktor 14,5. Dazu ersetzen sie die sequenzielle Token-Erzeugung durch einen blockweisen, parallelen Diffusionsprozess (Together AI Blog). Der Ansatz zielt auf den Latenzengpass autoregressiver Modelle: Er erzeugt mehrere Token gleichzeitig in einem einzigen Forward Pass.
Das Versprechen
CDLM ist ein Distillationsverfahren nach dem Training. Es soll die Geschwindigkeit der Diffusion in die Textgenerierung bringen, ohne den üblichen Qualitätsverlust. Durch die parallele Token-Erzeugung adressiert es die hohe Latenz, die Mathematik- und Coding-Workflows belastet (Together AI Research). Bei Backend-Ingenieuren, die Inferenzkosten auf leistungsstarken Rechenclustern senken wollen, findet das Verfahren Anklang.
Unter der Haube
Der zentrale technische Fortschritt von CDLM ist eine blockweise kausale Attention-Maske während der Distillation des Schülermodells. Diese Architektur ermöglicht exaktes KV-Caching in einem nicht kausalen Modell. Das galt bisher als große Hürde für diffusionsbasierte Textgeneratoren (arXiv:2511.12122).
Benchmarks zeigen eine maximale Beschleunigung um den Faktor 14,5 bei MBPP-Coding-Aufgaben und um den Faktor 11,2 bei GSM8K-Mathematikaufgaben (Together AI Research). Der Code für Training und Evaluierung liegt im Repository SqueezeAILab/CDLM bereit, damit Teams die Ergebnisse nachvollziehen können (GitHub).
Die Hardwareanforderungen sind allerdings hoch. Zudem ist die Distillation VRAM-intensiv: Während des Trainings muss ein großes Lehrermodell wie Claude 4.5 Opus oder GPT-5 neben dem Schülermodell laufen.
Derzeit gibt es keine Belege dafür, dass das Modell auf Consumer-Hardware wie der NVIDIA RTX 5090 oder einem Mac M5 Max effizient läuft. Dafür wäre eine spezielle Quantisierung nötig, die noch nicht veröffentlicht ist (HN-Kommentar). Auch Vergleiche mit dem nativen Diffusionsmodus aus der Vorschau von Gemini 3.1 Pro vom Mai 2025 fehlen in den aktuellen Datensätzen.
Unsere Einschätzung
CDLM ist eine elegante Lösung für das Problem der sequenziellen Generierung, setzt derzeit aber Spitzenhardware voraus. Die Beschleunigung um den Faktor 14,5 ist ein bedeutender technischer Meilenstein. Doch der VRAM-Bedarf der Distillation und die fehlende GGUF-Unterstützung machen das Verfahren für die meisten Teams zu einem Laborexperiment. Probieren Sie den Code auf GitHub in Nebenprojekten aus. Bleiben Sie in der Produktion bei Standard-Inferenz, bis die lokale Implementierung ausgereift ist.