Der Anwendungsfall: wie Writer Baseten einsetzt
Writer serves its custom 70-billion-parameter Palmyra domain-specific LLMs (for healthcare and finance) on Baseten's inference platform. Baseten's performance engineers built TensorRT-LLM engines for the models to get production-ready speed, throughput and cost.
Weitere angegebene Ergebnisse
Zahlen aus der Fallstudie von Baseten. usedby hat sie nicht unabhängig gemessen.
60% higher tokens per second
23% lower time to first token
In den Worten des Kunden
Inference for custom-built LLMs could be a major headache. Thanks to Baseten, we’re getting cost-effective high-performance model serving without any extra burden on our internal engineering teams. Instead, we get to focus our expertise on creating the best possible domain-specific LLMs for our customers.Weitere KI-Tools von Writer
Weitere öffentliche Beziehungen, die auf usedby erfasst sind.
Den KI-Stack von Writer ansehen
Nutzer von Baseten in der Branche MarTech
Unternehmen derselben Branche, mit öffentlichen Belegen.
Alle Kunden von Baseten ansehen
Direkt zur Quelle
Auf Basis der veröffentlichten Fallstudie von Baseten. Wir prüfen die öffentlichen Belege; die Ergebnisse gibt der Anbieter an.
baseten.co- Quelle veröffentlicht
- 31. Juli 2024
- Zuletzt geprüft
- 9. Okt. 2026
Screenshot der Quelle öffnen Was die Fallstudie behauptet und was wir geprüft haben
Was wir mit der Seite verglichen haben.
- Die Zahl: 35%Geprüft
Steht wörtlich auf der Seite, nahe dem Namen Writer.
- Die oben zitierte PassageGeprüft
Wörtlich von der Seite übernommen, nahe dem Namen Writer.
- Die Zahlen in unserer ZusammenfassungGeprüft
Jede steht auf der Seite.
- Das VeröffentlichungsdatumGeprüft
Aus den eigenen Metadaten der Seite gelesen, nie geschätzt.
- Writer nutzt BasetenGeprüft
Eintrag mit Stufe Bestätigt.
- Das Ergebnis selbstNicht geprüft
Wir zitieren es; wir haben es nicht gemessen.
Writer and Baseten worked together to create secure, private, high-performance deployments for Writer’s latest Palmyra LLMs. With TensorRT-LLM engines deployed on Baseten, Writer surpassed its performance requirements ahead of launching the new models.