Comment Hebbia utilise Baseten
Hebbia exploite sur Baseten un déploiement dédié d'un LLM open source pour traiter le trafic de chat sensible à la latence de ses clients du secteur financier. Cette configuration repose sur un routage de cache tenant compte du KV, le décodage spéculatif et une mise à l'échelle élastique des GPU.
Voir la preuve capturéeL’usage : comment Hebbia déploie Baseten
Hebbia runs a dedicated deployment of an open-source LLM on Baseten to serve latency-sensitive chat traffic for its financial institution customers. The setup uses KV-aware cache routing, speculative decoding and elastic GPU scaling.
Autres résultats publiés
Chiffres publiés dans l’étude de cas de Baseten. usedby ne les mesure pas de façon indépendante.
2.5x improvement in TPS and 4x improvement in TTFT using the Baseten Inference Stack
Le témoignage du client
Nos clients tiennent vraiment à la rapidité, à la fiabilité et à la possibilité de déployer des modèles fine-tunés sur mesure pour les services financiers. Baseten a répondu à ces trois critères jusqu'ici, et c'est une vraie aubaine pour notre activité.Traduction automatique de l’anglaisVoir l’original
Our customers really care about speed, reliability, and the ability to deploy custom fine-tuned models for financial services. Baseten met all three criteria so far and it’s been a boon to our business.Les autres outils IA utilisés par Hebbia
Autres relations publiques recensées sur usedby.
Explorer la stack IA de HebbiaLes clients de Baseten dans le secteur Intelligence artificielle
Des entreprises du même secteur, avec une preuve publique.
Voir tous les clients de BasetenConsulter la source
Cette synthèse repose sur l’étude de cas publiée par Baseten. Nous vérifions la preuve publique ; les résultats sont ceux rapportés par l’éditeur.
baseten.co- Dernière vérification
- 11 nov. 2026
Ouvrir la capture Ce que dit le témoignage, et ce que nous avons vérifié
Ce que nous avons comparé à la page.
- Le chiffre : 10xVérifié
Imprimé mot pour mot sur la page, près du nom de Hebbia.
- L’extrait cité plus hautVérifié
Copié mot pour mot depuis la page, près du nom de Hebbia.
- Hebbia utilise BasetenVérifié
Ligne de niveau Confirmé.
- Le résultat lui-mêmeNon vérifié
Nous le citons ; nous ne l’avons pas mesuré.
By shifting from a closed-source model provider to Baseten, Hebbia reduced inference costs by over 10x without compromising on the reliability or latency their enterprise customers depend on.












