Arize AX oder Braintrust: LLM-Anwendung tracen, testen und bewerten

Ein gemeinsamer Weg: schlechte Antwort, Testfall, Evaluierung, Prüfung

Braintrust beschreibt das Tracing von Prompts, Antworten und Tool-Aufrufen sowie Evaluierungen auf versionierten Datensätzen, bewertet durch LLMs, Code oder Menschen. Die Startseite nennt eine Ein-Klick-Aktion, die Produktions-Traces in Evaluierungsdatensätze verwandelt, und Annotationsansichten, die Teams an ihren Prüfablauf anpassen.

Arize beschreibt denselben Kreislauf als Beobachten, Bewerten, Lernen: Span-, Trace- und Session-Evaluierungen sowie ein Playground, um Prompts vor dem Deployment zu testen. Die Preistabelle führt Datensätze, Experimente, Prompt-Versionierung und Trace-Wiedergabe im Playground auf. Booking.com gibt an, Experimentdatensätze direkt aus Produktionsdaten zu erzeugen. Beide Werkzeuge kennen also Datensätze; offen bleibt, wie reibungslos dieser Schritt im Alltag ist.

1235

Was die Kundenabläufe zeigen und was nicht

Dropbox beschreibt in Braintrust drei Stufen: 150 Smoke-Tests vor dem Merge, eine Suite mit mehr als 10.000 Tests danach und ein LLM-Richter, der stichprobenartig gezogene Produktionsanfragen nach derselben Rubrik bewertet, mit Dashboards und Alarmen. Ein Daumen hoch oder runter wird zum Trace, der neue Testsätze speist. Box beschreibt Produktmanager, die Testfälle und Rubriken schreiben, programmatische Läufe jede Nacht und eine Regel: Der Agent musste bei rund achtzig Fragen über 80 % erreichen, bevor er intern freigegeben wurde; ein Referenzsatz von etwa 330 Fragen definierte danach die allgemeine Verfügbarkeit.

PagerDuty beschreibt die Produktionsseite in Arize: Slack-Feedback wird an die Span-ID der Antwort gebunden, LLM-Richter bewerten Tool-Wahl, Parameter und Relevanz, und eine überschrittene Qualitätsschwelle löst eine Meldung mit niedriger Dringlichkeit und ein Jira-Ticket aus. Booking.com leitet Traces über einen Collector, der sie stichprobenartig auswählt und sensible Passagen entfernt, bevor sie an Arize gehen; niedrigere Scores in späteren Chatbot-Runden führten das Team dort zu langen Links, die in den Kontext zurückgespeist wurden, und es behob das vor dem Start.

Der Unterschied liegt in der Gewichtung, nicht im Funktionsumfang: Die Braintrust-Berichte drehen sich um Schwellen vor dem Release in Hand von Produkt und Entwicklung, die Arize-Berichte um Live-Überwachung mit Bereitschaftsdienst. Auch Coursera beschreibt Online-Monitoring mit Alarmen in Braintrust, keines der Werkzeuge ist also auf eine Phase beschränkt. Es sind verschiedene Unternehmen mit eigenen Ergebnissen; sie ordnen die Werkzeuge nicht.

36789

Traces und Integrationen: den eigenen Stack prüfen

Die Listen überschneiden sich bei LangChain, LangGraph, LlamaIndex, CrewAI, DSPy und Pydantic AI. Braintrust ergänzt Vercel AI SDK, Mastra, OpenTelemetry und Pytest; die Dokumentation zählt rund 90 Integrationen sowie SDKs für Python, TypeScript, Go, Ruby und C#. Arize ergänzt Haystack, Dify, Flowise, Apache Airflow, Claude Code und Cursor; die Dokumentation deckt auch Claude Agent SDK und OpenAI Agents SDK ab und weist darauf hin, dass Agent-Framework und Modellanbieter jeweils instrumentiert werden müssen.

Arize baut auf OpenInference auf, das es als offenen Standard auf OpenTelemetry bezeichnet, und bietet mit Phoenix ein Open-Source-Werkzeug für den lokalen Einsatz. Braintrust nennt ebenfalls OpenTelemetry, die Portabilität der Traces trennt beide auf dem Papier also nicht.

21011

Menschliche Prüfung und Planeinheiten sind verschiedene Währungen

Arize führt menschliche Annotationen und Labeling-Warteschlangen in Free, Pro und Enterprise als unbegrenzt auf. Die Grenzen liegen woanders: 25.000 Spans pro Monat in Free und 50.000 in Pro, 1 GB und 10 GB Ingestion, 15 und 30 Tage Aufbewahrung, Pro für 50 $ im Monat.

Braintrust Starter enthält einen Score für menschliche Prüfung pro Projekt; Pro macht sie unbegrenzt. Abgerechnet wird nach verarbeiteten Daten (1 GB in Starter, 5 GB in Pro), Scores (10.000 und 50.000 pro Monat), Modellguthaben und Aufbewahrung (14 und 30 Tage), Pro für 249 $ im Monat. Spans und Gigabyte sind unterschiedliche Zähler, ein Preisvergleich ist aus den Seiten nicht möglich: Schätzen Sie beide mit Ihrem Verkehr und Ihrer Stichprobenquote.

512

Hosting und Umgang mit Daten

Arize betreibt Free und Pro als SaaS und bietet in Enterprise SaaS oder Selbst-Hosting; die Tabelle nennt Datenregionen in den USA, der EU oder Kanada für jeden Plan. Bei Braintrust ordnet die Preisseite On-Prem- oder gehostetes Deployment dem Enterprise-Plan zu, und die Startseite beschreibt einen Hybridmodus, in dem die Datenebene auf Ihrer Infrastruktur läuft.

Braintrust nennt SOC 2 Type II und stellt einen Auftragsverarbeitungsvertrag bereit. Dieser sieht vor, dass Pro-Kunden die Datenebene in der EU ansiedeln können, während Identitätsdaten der Kontrollebene in die USA gelangen können, und dass die optionale Funktion Topics ausgewählte Evaluierungsdaten an Modelle von Unterauftragsverarbeitern senden kann. Das Trust Center nennt OpenAI, Anthropic und Google als optionale Modelle für Loop. Was bei Arize für Ihren Plan gilt, klären Sie über dessen Trust Center.

15121314

Ein Test vor der Entscheidung (redaktioneller Vorschlag)

Nehmen Sie einige echte schlechte Antworten Ihrer Anwendung und lassen Sie sie durch beide kostenlosen Pläne laufen. Messen Sie, wie lange der Weg vom Trace zum gespeicherten Testfall dauert, ob eine Prüferin oder ein Prüfer ohne Entwicklungshintergrund ohne Hilfe labeln kann, ob die Tool-Aufrufe Ihres Frameworks im Trace erscheinen und welchen Zähler Sie bei Ihrem Volumen zuerst erreichen. Die Seiten beantworten diese Fragen nicht.

12