Cómo Hebbia utiliza Baseten
Hebbia ejecuta en Baseten un despliegue dedicado de un LLM de código abierto para atender el tráfico de chat sensible a la latencia de sus clientes del sector financiero. La configuración incluye enrutamiento de caché consciente de KV, decodificación especulativa y escalado elástico de GPU.
Ver la prueba capturadaEl uso: cómo Hebbia implementa Baseten
Hebbia runs a dedicated deployment of an open-source LLM on Baseten to serve latency-sensitive chat traffic for its financial institution customers. The setup uses KV-aware cache routing, speculative decoding and elastic GPU scaling.
Otros resultados publicados
Cifras publicadas en el caso de estudio de Baseten. usedby no las mide de forma independiente.
2.5x improvement in TPS and 4x improvement in TTFT using the Baseten Inference Stack
En palabras del cliente
A nuestros clientes les importan mucho la velocidad, la fiabilidad y la posibilidad de desplegar modelos personalizados con ajuste fino para servicios financieros. Hasta ahora, Baseten ha cumplido los tres criterios y ha sido una bendición para nuestro negocio.Traducción automática del inglésVer el original
Our customers really care about speed, reliability, and the ability to deploy custom fine-tuned models for financial services. Baseten met all three criteria so far and it’s been a boon to our business.Otras herramientas de IA utilizadas por Hebbia
Otras relaciones públicas registradas en usedby.
BraintrustConfirmado
ClaudeConfirmado
GeminiConfirmado
CerebrasDeclarado
DatadogDeclarado
Fireworks AIDeclaradoClientes de Baseten en Inteligencia artificial
Empresas del mismo sector, con pruebas públicas.
EliseAIConfirmado
GammaConfirmado
Oxen AIConfirmado
Parallel Web SystemsConfirmado
PoolsideConfirmado
RimeConfirmadoConsultar la fuente
Basado en el caso de éxito publicado por Baseten. Verificamos las pruebas públicas; los resultados son los que declara el proveedor.
baseten.co- Última verificación
- 11 nov 2026
Abrir la captura Lo que dice la historia, y lo que verificamos
Lo que comparamos con la página.
- La cifra: 10xVerificado
Impresa palabra por palabra en la página, cerca del nombre de Hebbia.
- El pasaje citado arribaVerificado
Copiado palabra por palabra de la página, cerca del nombre de Hebbia.
- Hebbia usa BasetenVerificado
Línea de nivel Confirmado.
- El resultado en síNo verificado
Lo citamos; no lo medimos.
By shifting from a closed-source model provider to Baseten, Hebbia reduced inference costs by over 10x without compromising on the reliability or latency their enterprise customers depend on.
