Os Consistency Diffusion Language Models (CDLM) aceleram em 14,5x a latência de inferência em tarefas de código, ao substituir a geração sequencial de tokens por um processo de difusão paralelo por blocos (Together AI Blog). A abordagem ataca o gargalo de latência próprio dos modelos autorregressivos, gerando vários tokens ao mesmo tempo em um único forward pass.
O pitch
O CDLM é uma técnica de destilação pós-treinamento criada para levar a velocidade da difusão à geração de texto sem a tradicional perda de qualidade. Ao permitir a produção paralela de tokens, ela mira os problemas de alta latência que afetam os workflows de matemática e de código (Together AI Research). A técnica ganhou força entre engenheiros de back-end que buscam otimizar os custos de inferência em clusters de computação de ponta.
Por dentro
O principal avanço técnico do CDLM é a implementação de uma máscara de atenção causal por blocos durante a destilação do modelo aluno. Essa arquitetura permite um KV caching exato em um modelo não causal, algo até então visto como um grande obstáculo para os geradores de texto baseados em difusão (arXiv:2511.12122).
Os benchmarks mostram uma aceleração máxima de 14,5x em tarefas de código do MBPP e uma melhoria de 11,2x em tarefas de matemática do GSM8K (Together AI Research). O código de treinamento e de avaliação está disponível no repositório SqueezeAILab/CDLM para quem quiser reproduzir esses resultados (GitHub).
Os requisitos de hardware, porém, são altos. Além disso, o processo de destilação consome muita VRAM e exige que um grande modelo professor, como o Claude 4.5 Opus ou o GPT-5, rode junto com o modelo aluno durante o treinamento.
Até agora, não há evidências de que o modelo rode de forma eficiente em hardware de consumo, como a NVIDIA RTX 5090 ou o Mac M5 Max, sem uma quantização especializada que ainda não foi lançada (comentário no HN). Também faltam, nos conjuntos de dados atuais, comparações com a prévia de maio de 2025 do modo de difusão nativo do Gemini 3.1 Pro.
Nossa opinião
O CDLM é uma solução elegante para o problema da geração sequencial, mas hoje depende de hardware de elite. A aceleração de 14,5x é um marco técnico importante, mas o custo de VRAM da destilação e a falta de suporte a GGUF fazem disso um experimento de laboratório para a maioria das equipes. Brinque com o código no GitHub em projetos paralelos, mas fique com a inferência padrão em produção até que a implementação local amadureça.