Unsere Einordnung
Lassen Sie in Braintrust den alten und den neuen Prompt über denselben Datensatz aus echten Traces laufen, mit Code-Scorern für harte Regeln und einem LLM-Richter für den Inhalt, und lesen Sie die Fehlschläge selbst. Die veröffentlichten Beispiele von Box und Coursera zeigen automatische Scores, die Teilpunkte und vage Antworten übersehen: Der Score ist ein Filter, keine Freigabeentscheidung.
Warum eine Prompt-Änderung einen Test braucht, keine Stichprobe
Eine Prompt-Änderung, die den aktuellen Fehler behebt, kann unbemerkt etwas anderes verschlechtern. Dropbox beschreibt genau das in seiner Fallstudie: Als mehr Entwickler am Assistenten Dash arbeiteten, änderte jeder nach einer Fehlermeldung den Prompt, jede Korrektur verursachte anderswo ein neues Problem, und Tabellen reichten nicht mehr aus.
Braintrust stellt seine Evals als Antwort dar: Experimente gegen echte Datensätze ausführen, Prompts und Modelle nebeneinander vergleichen und Ausgaben mit LLMs, Code oder Menschen bewerten. Der folgende Ablauf folgt dieser Form. Es ist eine redaktionelle Abfolge, abgeleitet aus der Herstellerbeschreibung und drei veröffentlichten Kundengeschichten, kein von Braintrust vorgeschriebenes Verfahren; alle zitierten Ergebnisse stammen von den Anbietern oder Kunden selbst.
Schritt 1: Das Testset aus echten Traces aufbauen
Laut Braintrust lassen sich Produktions-Traces mit einem Klick in Eval-Datensätze verwandeln, sodass Regressionstests aus echten Fehlern und Randfällen entstehen statt aus erfundenen Beispielen. Coursera zeigt sorgfältige Kuratierung: Das Team prüft anonymisierte Chatbot-Transkripte und von Menschen bewertete Aufgaben, achtet besonders auf Gespräche mit Daumen hoch oder runter und ergänzt LLM-generierte synthetische Fälle für Grenzsituationen.
Redaktioneller Rat: Nehmen Sie die Fälle auf, die der neue Prompt beheben soll, und zusätzlich eine Stichprobe gewöhnlicher Fälle, die der alte Prompt schon beherrschte. Ein Set nur aus Fehlern kann nicht zeigen, dass etwas kaputtgegangen ist. Die Aufbewahrung spielt eine Rolle: Die Preisseite nennt 14 Tage inklusive bei Starter und 30 Tage bei Pro. Kopieren Sie benötigte Traces daher in einen Datensatz, bevor sie ablaufen.
Schritt 2: Beide Versionen mit denselben Eingaben ausführen
Führen Sie den aktuellen und den neuen Prompt über denselben Datensatz mit denselben Scorern aus und ändern Sie nur den Prompt. Box wendet dieselbe Logik in größerem Maßstab an: ein fester Datensatz als Referenz, parallele Experimente über viele Modelle, verglichen nach Genauigkeit, Latenz, Kosten, Token-Verbrauch und Tool-Nutzung. Das Team startet seine Evaluierungen zudem jede Nacht programmatisch und sieht morgens, was sich verschlechtert oder verbessert hat.
Dropbox teilt die Arbeit in zwei Stufen: 150 gezielte Tests, bevor ein Pull Request gemergt wird, und danach eine Suite mit mehr als 10.000 Tests. Für Ihre eigene Pipeline nennt die Integrationsliste Pytest, OpenTelemetry, LangChain und das OpenAI Agents SDK; der Lauf kann also vermutlich in vorhandenem Code sitzen. Wie eine Prompt-Version gespeichert und freigegeben wird, beschreiben die gesichteten Seiten nicht im Detail. Probieren Sie das im kostenlosen Tarif aus, bevor Sie sich darauf verlassen.
Schritt 3: Scorer wählen und ihre blinden Flecken kennen
Code-Scorer sind deterministisch, prüfen aber nur, was Sie festgelegt haben. Box bewertet Quellenangaben mit reinem Code: erwartete Datei gegen zitierte Datei. Coursera nutzt heuristische Prüfungen für Format und Struktur. Beides sagt nichts darüber, ob die Antwort nützlich ist.
LLM-Richter erfassen Bedeutung, haben aber eigene Schwächen. Box gibt jeden Rubrikpunkt einzeln an einen Richter, doch eine Alles-oder-nichts-Regel wertete eine gut erklärte Antwort mit vier von fünf erwarteten Fakten als Fehlschlag. Dropbox stellte fest, dass ROUGE, BLEU und Kosinus-Ähnlichkeit Quellenangaben, Quellenbezug und Ton verfehlen, und wechselte zu LLM-Richtern, die erst breit und dann spezifischer wurden. Box warnt außerdem davor, ein Testset von einem LLM schreiben und von einem LLM bewerten zu lassen: Es kann volle Punktzahl erreichen und nichts aussagen.
Schritt 4: Die Fehlschläge selbst lesen
Box entdeckte sein Teilpunkte-Problem, indem das Team Fehlschläge Frage für Frage durchging und die Trace-Logs öffnete. Bei Coursera wirkte der Prototyp der automatischen Bewertung bei gültigen Abgaben gut, bis das Team sah, dass vage Antworten trotzdem hohe Punktzahlen erhielten; es ergänzte daraufhin negative Testfälle. In beiden Geschichten zeigte erst das Lesen von Beispielen, was die Gesamtzahl verbarg.
Die Tarifgrenzen prägen diesen Schritt. Scores für menschliche Prüfung sind bei Starter auf einen pro Projekt begrenzt und bei Pro unbegrenzt; Pro kostet 249 US-Dollar im Monat. Enthalten sind 10.000 Scores bei Starter und 50.000 bei Pro. Braintrust beschreibt außerdem aufgabenspezifische Trace-Ansichten, mit denen sich Annotationsoberflächen ohne Frontend-Entwicklung bauen lassen, nützlich, wenn Ihre Prüfer ein auf Ihre Inhalte zugeschnittenes Layout brauchen.
Schritt 5: Entscheiden und wissen, was der Score nicht belegt
Ein Schwellenwert ist eine Teamentscheidung, keine Eigenschaft des Werkzeugs. Box machte die interne Freigabe davon abhängig, dass der Agent bei rund achtzig Fragen über 80 Prozent erreichte, und erweiterte das dann zu einem Golden Dataset mit 330 Fragen für die allgemeine Verfügbarkeit. Die ersten Werte lagen bei etwa sechzig Prozent, was akzeptabel war, weil die Fehler nachvollziehbar waren und sich per Tag sortieren ließen.
Ein guter Offline-Score deckt nur die Fragen ab, die Sie geschrieben haben. Box beobachtet die Produktion: Häufen sich negative Antworten irgendwo, prüft das Team, ob das Testset unter diesem Tag denselben Einbruch zeigt; wenn nicht, hat es eine Lücke. Dropbox wendet dieselbe Rubrik per Online-Richter auf stichprobenartige Produktionsanfragen an. Das sind vom Anbieter berichtete Praktiken, keine unabhängigen Messungen, und es sind verschiedene Unternehmen mit verschiedenen Kennzahlen: Lesen Sie sie nicht als Vergleich. Geben Sie frei, wenn Vergleich, menschliche Prüfung und Produktionsbeobachtung übereinstimmen.
Methodik und Grenzen
2026-11-01
Diese datierte Momentaufnahme zählt die einzelnen Unternehmen mit öffentlichen Kundennachweisen. CONFIRMED steht für eine Fallstudie, ein namentliches Zitat oder eine Pressequelle, DECLARED für eine Angabe des Unternehmens selbst, OBSERVED für eine Kundenliste des Anbieters und SIGNAL für eine Stellenanzeige. Alle vier Stufen zählen, ihre Aussagekraft ist aber unterschiedlich. Entfernte Einträge und Einträge ohne Stufe sind ausgeschlossen. Die Beispiele sind eine begrenzte Auswahl, die in den letzten 90 Tagen geprüft wurde. Die Angaben der Anbieter stammen aus Quellen, die in den letzten 60 Tagen geprüft wurden. Die Abdeckung ist ungleichmäßig, und wo Belege fehlen, ist der Stand unbekannt. Diese Zahlen messen weder Marktanteile noch die Leistung eines Produkts. Erfassungsdaten sind keine Einführungsdaten.
