Unsere Einordnung
Der Weg besteht aus vier Schritten: die fehlerhafte Trace finden, sie mit einer korrekten Soll-Antwort in einen Datensatz übernehmen, den Datensatz auf der korrigierten Version erneut laufen lassen und die Produktion von Online-Evaluatoren überwachen lassen. LangSmith liefert Tracing, Evaluatoren und Alarme; Ihr Team liefert die richtige Antwort, die Wahl der Evaluatoren und den Schwellenwert. Basis-Traces werden 14 Tage aufbewahrt, übernehmen Sie die Trace daher gleich bei der Diagnose in einen Datensatz (redaktionelle Schlussfolgerung).
Von der falschen Antwort ausgehen, nicht vom Prompt
Nehmen wir einen hypothetischen Fall als redaktionelles Beispiel: Ein Support-Agent nennt eine falsche Erstattungsfrist. Ein Kunde meldet es, oder ein Dashboard zeigt einen niedrigen Feedback-Score. Der Reflex ist, den Prompt zu ändern. Besser ist es, zuerst genau den Lauf zu finden, der diese Antwort erzeugt hat.
In LangSmith entspricht eine Trace einer Ausführung Ihrer Anwendung und kann viele Schritte enthalten, etwa Modellaufrufe und andere erfasste Ereignisse. Bei Chat-Agenten lassen sich über das Threading von Nachrichten frühere Gesprächsrunden nachlesen. Die Instrumentierung läuft über die SDKs für Python, TypeScript, Go oder Java oder über OpenTelemetry. Der Anbieter gibt an, dass Traces asynchron gesendet werden und die Anwendung nicht bremsen.
Die Trace lesen, bevor Sie das Modell verantwortlich machen
Die Trace zeigt Schritt für Schritt, was der Agent getan hat, samt Latenz, Kosten und Antwortqualität. In unserem Fall lautet die nützliche Frage: Stammt die falsche Frist aus einem schlecht abgerufenen Dokument, aus einem Tool-Aufruf mit falschen Parametern oder vom Modell selbst? Je nach Antwort unterscheiden sich Korrektur und damit Test. Insights gruppiert Traces automatisch nach Thema und Fehlerbild, sodass sich erkennen lässt, ob der Fehler vereinzelt oder wiederkehrend ist.
Enthalten die Traces Kundendaten, spielt der Speicherort eine Rolle. Die gehostete Cloud speichert Daten in GCP us-central-1. BYOC- und selbst gehostete Optionen existieren, und der Enterprise-Plan kann in Ihrem eigenen Kubernetes-Cluster laufen. Der Anbieter erklärt, nicht auf Ihren Daten zu trainieren.
Die Trace in einen Datensatz übernehmen, bevor sie abläuft
Die Preisübersicht nennt die Sammlung von Datensätzen und eine Annotationswarteschlange für menschliches Feedback. Die Produktseiten beschreiben nicht, mit welchen Schritten aus einer Trace ein Beispiel wird; das klären Sie in der Dokumentation oder in einer Demo.
Die Aufbewahrung gibt das Tempo vor. Basis-Traces bleiben 14 Tage, erweiterte Traces 180 Tage erhalten, und eine Basis-Trace lässt sich gegen Aufpreis zur erweiterten hochstufen. Der Anbieter hält erweiterte Traces für sinnvoll, wenn Feedback von Nutzern, Evaluatoren oder Annotatoren daran hängt. Unsere redaktionelle Schlussfolgerung: Dauert die Untersuchung länger als zwei Wochen, kann die Trace verschwunden sein. Übernehmen Sie Eingabe und fehlerhafte Ausgabe bei der Diagnose in einen Datensatz.
Einen Schritt nimmt Ihnen kein Werkzeug ab: die Soll-Antwort zu formulieren. LangSmith weiß nicht, dass Ihre Erstattungsfrist 30 Tage beträgt. Jemand, der die Regelung kennt, muss entscheiden, und die Annotationswarteschlange dient dazu, dieses Urteil einzuholen. Das in LSU abgerechnete Produkt Engine kann zudem Datensätze für die menschliche Prüfung anlegen; die Prüfung bleibt menschlich.
Erneut abspielen: fehlerhafte und korrigierte Version vergleichen
Die Preisübersicht führt Offline-Evaluierungen, einen Playground und einen Prompt Hub auf. Das ist eine redaktionelle Empfehlung, keine vom Anbieter Schritt für Schritt beschriebene Funktion: Lassen Sie den Datensatz auf der aktuellen und dann auf der korrigierten Version laufen. Das neue Beispiel sollte von fehlgeschlagen auf bestanden wechseln, die übrigen Beispiele sollten nicht schlechter werden.
Ein Datensatz mit einem einzigen Beispiel beweist wenig. Ergänzen Sie verwandte Fragen (andere Fristen, andere Produkte) und bereits korrekte Fälle. Ein Code-Evaluator eignet sich für mechanisch Prüfbares, etwa die genaue Zahl der Tage. Ein LLM-Richter passt besser zu Ton und Formulierung, ist aber ein weiteres Modell, das Sie kontrollieren müssen: Vergleichen Sie seine Urteile an einigen Beispielen mit denen eines menschlichen Prüfers, bevor Sie ihm vertrauen.
In der Produktion überwachen, was der Testsatz nicht abdeckt
Nach der Auslieferung der Korrektur übernimmt die Überwachung. LangSmith bietet Online-Evaluatoren, LLM-as-judge oder Code, die auf Produktionsläufe angewendet werden, sowie die Überwachung der Tool- und Agenten-Trajektorie. Dashboards erfassen Token, Latenz (P50, P99), Fehler, Kosten und Feedback-Scores, mit Alarmen per Webhook oder PagerDuty, wenn eine Metrik einen Schwellenwert überschreitet.
Der Schwellenwert ist eine Teamentscheidung: Ab welcher Fehlerquote wird jemand alarmiert? Redaktionelle Empfehlung: Testen Sie, ob der Score eines Online-Evaluators tatsächlich einen Webhook- oder PagerDuty-Alarm auslöst, bevor Sie sich darauf verlassen. Tuned Evaluators, in der öffentlichen Beta für Plus und Cloud Enterprise in den USA, kosten 0,015 LSU pro erfolgreicher Auswertung.
Was der Tarif vorgibt und was beim Team bleibt
Developer kostet 0 $ mit einem Platz und 5.000 Basis-Traces im Monat. Plus kostet 39 $ pro Platz mit 10.000 Basis-Traces, danach nutzungsabhängig mit 0,005 LSU pro zusätzlicher Trace, wobei 1 LSU 1 $ entspricht. Da eine Trace auch Läufe von Evaluatoren und Playground umfasst, prüfen Sie, wie Ihre Online-Evaluierungen ins Volumen zählen. Sie können zunächst nur mit Tracing starten und Evaluierungen später ergänzen.
Auf der Kundenseite des Anbieters erscheinen Cisco, Toyota, Salesforce, Orange Business und Numan. Die Titel ihrer Geschichten nennen eine Plattform mit zentraler Observability, ein Andon-Board für Agenten, standardisierte Agenten-Evaluierungen, Live-Intelligenz auf Basis von LangChain und LangSmith sowie einen auf Evaluierung ausgelegten Gesundheitscoach.
Methodik und Grenzen
2026-10-30
Diese datierte Momentaufnahme zählt die einzelnen Unternehmen mit öffentlichen Kundennachweisen. CONFIRMED steht für eine Fallstudie, ein namentliches Zitat oder eine Pressequelle, DECLARED für eine Angabe des Unternehmens selbst, OBSERVED für eine Kundenliste des Anbieters und SIGNAL für eine Stellenanzeige. Alle vier Stufen zählen, ihre Aussagekraft ist aber unterschiedlich. Entfernte Einträge und Einträge ohne Stufe sind ausgeschlossen. Die Beispiele sind eine begrenzte Auswahl, die in den letzten 90 Tagen geprüft wurde. Die Angaben der Anbieter stammen aus Quellen, die in den letzten 60 Tagen geprüft wurden. Die Abdeckung ist ungleichmäßig, und wo Belege fehlen, ist der Stand unbekannt. Diese Zahlen messen weder Marktanteile noch die Leistung eines Produkts. Erfassungsdaten sind keine Einführungsdaten.
