Unsere Einordnung
Beginnen Sie mit Tracing und wenigen Evals für einen einzigen Agenten. Legen Sie fest, wer alarmiert wird, bevor Sie den ersten Monitor schreiben. PagerDuty zeigt den vollständigen Ablauf: Monitor, Alarm mit niedriger Dringlichkeit, Jira-Ticket. Werten Sie Eval-Scores als technisches Signal: Keiner der hier geprüften Fälle belegt ein Geschäftsergebnis.
Ein Agent, ein Verantwortlicher, ein Schwellenwert
Arize AX ist eine Plattform für Tracing, Evaluierung und Monitoring von KI-Agenten. Eine klassische Anwendung erzeugt entweder einen Fehler oder nicht. Ein Agent kann dagegen eine flüssige Antwort liefern, nachdem er das falsche Tool gewählt hat. Deshalb müssen Sie jeden Schritt sehen und bewerten. Genau diese Aufgabe beschreibt Arize für AX: durchgängige Traces, Evals auf Span-, Trace- und Sitzungsebene sowie Produktionssignale, die auf Probleme hinweisen.
Mein Rat: Starten Sie ein Pilotprojekt mit einem einzigen Agenten und klären Sie drei Fragen, bevor der erste Monitor live geht. Wer wird alarmiert, bei welchem Qualitätsschwellenwert, und wer behebt das Problem? Das Beispiel PagerDuty ist das klarste Modell, weil es alle drei Fragen beantwortet.
Traces: was erfasst wird und wie viel ein Tarif abdeckt
Die Integrationsdokumentation trennt Tracing von Evaluierung. Das Tracing deckt 16 LLM-Anbieter ab (darunter OpenAI, Anthropic, Google GenAI und AWS Bedrock), Agenten-Frameworks in Python, TypeScript oder JavaScript, Java und .NET, zehn Coding-Agenten wie GitHub Copilot, Cursor und Devin sowie Plattformen wie Dify, Flowise und LangFlow. Auch OpenTelemetry-Wege sind aufgeführt: Arize OTEL, OpenLLMetry und OpenLIT.
Das Volumen bestimmt den Tarif. Laut Preisübersicht umfasst AX Free 25.000 Trace-Spans pro Monat mit 15 Tagen Aufbewahrung. AX Pro kostet 50 US-Dollar pro Monat und umfasst 50.000 Spans und 30 Tage. Enterprise bietet individuelles Volumen und individuelle Aufbewahrung und lässt sich selbst hosten. Evals, Experimente und menschliche Annotationen sind in jedem Tarif als unbegrenzt angegeben. Da ein einzelner Agentenlauf viele Spans erzeugt, sollten Sie die Spans pro Lauf in einem Test schätzen, bevor Sie einen Tarif wählen.
Evals: LLM-Judge, Ground Truth und menschliches Feedback
Laut Arize setzt PagerDuty bei seinen Agenten in PagerDuty Advance mehrere Arten der Evaluierung ein. Deterministische Fragen, etwa nach den Incidents von gestern, werden mit der Ground Truth abgeglichen. Ein LLM-Judge bewertet einzelne Schritte: Tool-Auswahl, Genauigkeit der Parameter und Relevanz der Antwort. Nutzer bewerten Antworten außerdem in Slack mit Daumen hoch oder runter. Jede Bewertung ist mit einer Span-ID verknüpft, sodass das Team den zugehörigen Trace rekonstruieren kann.
TheFork bewertet einzelne Komponenten, statt das System als Blackbox zu behandeln: Qualität der LLM-Aufrufe, Korrektheit der Guardrails, Qualität des Retrievals, Latenz, Token-Verbrauch und Fehler. Das Unternehmen kombiniert LLM-Judges mit codebasierten Prüfungen und konzentriert sich auf die Teile des Traffics mit der meisten Aussagekraft, etwa Spans, die Schwellenwerte für Latenz oder Guardrails überschreiten. Online-Evals laufen kontinuierlich, mit stündlichen Uploads und gezielten Backfills. Laut dem Bericht von Arize deckte das Tracing doppelte Embedding-Aufrufe auf einem kritischen Pfad auf. Ihre Entfernung senkte die p95-Latenz.
Alerts: vom Monitor über den Alarm zum Ticket
Bei PagerDuty sendet Arize einen Alert an PagerDuty, sobald eine Metrik zur Ausgabequalität einen Schwellenwert überschreitet. Die diensthabende Person im Agenten-Team erhält einen Alarm mit niedriger Dringlichkeit, und ein Incident-Workflow legt ein Jira-Ticket an, damit Sichtbarkeit und Zuständigkeit klar sind. Anschließend sortiert der hauseigene SRE Agent von PagerDuty die KI-Incidents vor: Er stuft ein, ob eine Eskalation an Menschen nötig ist, und bringt Kontext zu Fehlermustern aus Arize in den Incident ein.
Zur Frage, wer das Problem behebt, beschreibt die Fallstudie ein verteiltes Modell. Spezialisierte Agent Engineers dienen als interne Fachleute und bauen gemeinsame Tools. Software Engineers im ganzen Unternehmen entwickeln darauf Agenten. Produktmanager prüfen zunehmend das Verhalten der Agenten, um Feedbackschleifen zu verkürzen. Legen Sie früh fest, welche dieser Rollen in Ihrer Organisation für das Jira-Ticket verantwortlich ist.
Booking.com: einmal erfassen, schwärzen, weiterleiten
Booking.com betreibt zwei Pfade. Agenten-Traces folgen den Konventionen von OpenTelemetry und OpenInference und laufen durch einen zentralen KI-Telemetrie-Collector. Er zieht Stichproben, entfernt sensible Passagen und sendet die Daten an Arize und an Analysesysteme. Klassische ML-Modelle liefern Vorhersage-Logs aus dem Data Warehouse, ergänzt um Labels, sobald diese vorliegen. Wenn Ihre Agenten personenbezogene Daten verarbeiten, ist ein Collector vor dem Observability-Tool das Design, das Sie übernehmen sollten.
Arize berichtet von zwei Episoden. Im ersten Fall erkannte das Monitoring einen Agenten, dessen Latenz um mehrere Standardabweichungen über die Baseline sprang. Ursache war ein neues Experiment mit einem anderen Modell ohne die passende Service-Stufe. Im zweiten Fall stiegen beim Prototyping eines Agenten für Reiseplanung die P90-Token-Zahlen sprunghaft an, und spätere Gesprächsrunden schnitten in Multi-Turn-Evals schlechter ab. Lange Links zu Sehenswürdigkeiten, die in den Gesprächsverlauf zurückflossen, blähten den Kontext auf. Laut dem Bericht griff das Team ein, bevor diese Konfiguration in Produktion ging. Es handelt sich um Fälle eines einzigen Unternehmens, vom Anbieter angegeben, nicht um einen Benchmark.
Ein Qualitätsscore ist kein Geschäftsergebnis, und was die Quellen offenlassen
Jedes Ergebnis in diesen Fällen ist ein technisches Signal: Latenz, Tool-Auswahl, Qualität des Retrievals, Eval-Scores. Die hier ausgewerteten Quellen verknüpfen keinen Eval-Score mit Umsatz, Conversion oder Supportkosten. Stellen Sie diese Verbindung daher selbst her, zum Beispiel indem Sie Eval-Ergebnisse mit einer Geschäftsmetrik vergleichen, für die Ihr Produktteam bereits verantwortlich ist. Das ist eine redaktionelle Empfehlung, keine Funktion von Arize.
Eine Lücke sollten Sie vor dem Kauf schließen. Die Integrationsseite führt Integrationen für Tracing und Evaluierung auf, aber keine für Alerts oder Benachrichtigungen. PagerDuty beschreibt dagegen Alarme und Jira-Tickets. Prüfen Sie in einer Testphase, wie ein Monitor Ihre Bereitschafts- und Ticket-Tools erreicht. Die Kundenzahlen auf usedby zeigen, wer Arize nutzt, nicht wie gut es funktioniert.
Methode und Grenzen
2026-10-20
Diese datierte Momentaufnahme zählt verschiedene Unternehmen in öffentlichen Kundennachweisen. Bestätigt bedeutet eine Fallstudie, ein namentliches Zitat oder eine Pressequelle. Selbst angegeben bedeutet, dass das Unternehmen es usedby selbst mitgeteilt hat. Beobachtet bedeutet einen Eintrag beim Anbieter. Signal bedeutet eine Stellenanzeige. Alle vier Stufen zählen, ihre Aussagekraft ist aber unterschiedlich. Entfernte Einträge und Einträge ohne Stufe sind ausgeschlossen. Die Beispiele sind eine begrenzte Auswahl, die innerhalb von 90 Tagen geprüft wurde. Anbieterangaben sind belegte Datensätze, die innerhalb von 60 Tagen geprüft wurden. Die Abdeckung ist ungleichmäßig, und fehlende Belege bedeuten „unbekannt“. Diese Zahlen messen weder Marktanteile noch Produktleistung. Erfassungsdaten sind keine Einführungsdaten.
