3x
“saved the company 3x in inference costs compared to using OpenAI API for all listings”
Tal como se publicó en anyscale.com. Capturado por usedby el 7 oct 2026.
Qué pasó
Mirakl uses Anyscale's managed Ray platform to run fine-tuned, smaller open-source LLMs with LoRA adapters for batch inference. This automates catalog onboarding for marketplace sellers, with GPU clusters that autoscale to match traffic.
Resumen escrito por usedby a partir de la página de origen, en inglés. Las cifras son de Anyscale y de Mirakl, no nuestras.
- 80k+ token/sec“Consistent peak performance, handling 80k+ token/sec generations without latency.”
- 10 million“automating onboarding for over 10 million products each month”
- 20 GPU nodes“they can scale up to 20 GPU nodes during peak hours, but scale down to near-zero GPUs overnight”
- 90%“By intelligently routing up to 90% of catalog traffic to LLaMA 3.1 8B”
Investing in fine-tuned open-source models and leveraging Anyscale to manage Ray orchestration saved the company 3x in inference costs compared to using OpenAI API for all listings.
Using GPT-4 would have cost us more than half a million dollars per month… with Anyscale and fine-tuned LLaMA models, we brought that down by 3× while scaling to millions of products.
Lo que dice la historia, y lo que verificamos
Comparamos la historia con su página en línea el 7 oct 2026.
- La cifra: 3xVerificadoImpresa palabra por palabra en la página, cerca del nombre de Mirakl.
- El pasaje citado arribaVerificadoCopiado palabra por palabra de la página, cerca del nombre de Mirakl.
- Mirakl usa AnyscaleVerificadoLínea de nivel Confirmado. Última verificación entre todas las fuentes: 7 oct 2026.
- El resultado en síNo verificadoLo citamos; no lo medimos.
Más historias
Misma empresa, misma herramienta o mismo sector.
