Notre lecture
Avec Braintrust, faites tourner l'ancien et le nouveau prompt sur un même jeu de données issu de vraies traces, avec des scores par code pour les règles strictes et un juge LLM pour le sens, puis lisez vous-même les échecs. Les exemples publiés par Box et Coursera montrent des scores automatiques qui ratent le crédit partiel et les réponses vagues : le score est un filtre, pas une décision de mise en production.
Pourquoi un prompt modifié demande un test, pas un essai à l'œil
Un changement de prompt qui corrige le bug sous vos yeux peut en casser un autre sans bruit. Dropbox décrit exactement cela dans son étude de cas : à mesure que les ingénieurs se sont multipliés sur l'assistant Dash, chacun modifiait le prompt après un signalement, chaque correctif créait un problème ailleurs et les tableurs ne suffisaient plus.
Braintrust présente ses évaluations comme la réponse : lancer des expériences sur de vrais jeux de données, comparer prompts et modèles côte à côte, noter les sorties avec des LLM, du code ou des humains. Le parcours ci-dessous suit cette forme. C'est une séquence éditoriale bâtie sur la description de l'éditeur et trois témoignages publiés, pas une procédure imposée par Braintrust ; les résultats cités viennent des éditeurs ou des clients eux-mêmes.
Étape 1 : construire le jeu d'essai à partir de traces réelles
Braintrust indique qu'on peut transformer des traces de production en jeux de données d'évaluation en un clic, pour que les tests de régression viennent de vraies défaillances et non d'exemples inventés. Coursera montre une curation soignée : l'équipe relit des transcriptions anonymisées du chatbot et des devoirs notés par des humains, s'attarde sur les échanges avec pouce levé ou baissé, et ajoute des cas synthétiques générés par LLM pour les situations limites.
Conseil éditorial : incluez les cas que le nouveau prompt doit corriger, mais aussi un échantillon de cas ordinaires que l'ancien prompt gérait déjà. Un jeu composé uniquement d'échecs ne peut pas montrer qu'une régression est apparue. La rétention compte : la page tarifaire annonce 14 jours inclus sur Starter et 30 jours sur Pro ; copiez donc les traces utiles dans un jeu de données avant leur expiration.
Étape 2 : exécuter les deux versions sur les mêmes entrées
Lancez le prompt actuel et le candidat sur le même jeu de données avec les mêmes scoreurs, en ne changeant que le prompt. Box applique cette logique à plus grande échelle : un jeu fixe sert de référence, des expériences parallèles couvrent de nombreux modèles, comparés sur la précision, la latence, le coût, les tokens et l'usage d'outils. L'équipe lance aussi ses évaluations par programme chaque nuit et découvre le matin ce qui a régressé ou progressé.
Dropbox répartit l'effort en deux niveaux : 150 tests ciblés avant la fusion d'une pull request, puis plus de 10 000 tests après la fusion. Pour votre pipeline, la liste d'intégrations cite Pytest, OpenTelemetry, LangChain et l'OpenAI Agents SDK, ce qui laisse penser que l'exécution peut s'insérer dans du code existant. La manière dont une version de prompt est stockée et promue n'est pas détaillée dans les pages consultées : essayez-le sur l'offre gratuite avant de vous y fier.
Étape 3 : choisir les scores et connaître leurs angles morts
Les scores par code sont déterministes mais ne vérifient que ce que vous avez écrit. Box note les citations par du code pur : fichier attendu contre fichier cité. Coursera utilise des contrôles heuristiques sur le format et la structure. Ni l'un ni l'autre ne dit si la réponse est utile.
Les modèles juges couvrent le sens, avec leurs propres faiblesses. Box soumet chaque critère de la grille séparément à un juge, mais une règle du tout ou rien a classé en échec une réponse bien expliquée contenant quatre des cinq faits attendus. Dropbox a constaté que ROUGE, BLEU et la similarité cosinus ratent citations, ancrage dans les sources et ton ; l'équipe est passée à des juges LLM, d'abord généraux puis plus ciblés. Box déconseille aussi de faire écrire un jeu d'essai par un LLM puis de le faire juger par un LLM : il peut obtenir 100 % sans rien apprendre.
Étape 4 : lire soi-même les échecs
Box a repéré son problème de crédit partiel en parcourant les échecs question par question et en ouvrant les journaux de trace. Chez Coursera, le prototype de notation semblait correct sur les copies valides, jusqu'à ce que l'équipe constate que des réponses vagues obtenaient quand même un bon score ; elle a alors ajouté des cas de test négatifs. Dans les deux histoires, la lecture d'exemples par une personne a révélé ce que le chiffre global cachait.
Les limites des offres pèsent sur cette étape. Les scores de revue humaine sont limités à un par projet sur Starter et illimités sur Pro (249 $ par mois) ; les scores inclus sont de 10 000 sur Starter et 50 000 sur Pro. Braintrust décrit aussi des vues de trace spécifiques pour construire des interfaces d'annotation sans développement front, utiles si vos relecteurs ont besoin d'une présentation adaptée à votre contenu.
Étape 5 : décider, sans prêter au score ce qu'il ne prouve pas
Un seuil est une décision d'équipe, pas une propriété de l'outil. Box a conditionné la diffusion interne à un score supérieur à 80 % sur une série d'environ quatre-vingts questions, puis l'a étendue à un jeu de référence de 330 questions pour la disponibilité générale. Les premiers scores tournaient autour de soixante pour cent, ce qui convenait, car les échecs étaient lisibles et classables par étiquette.
Un bon score hors ligne ne couvre que les questions que vous avez écrites. Box vérifie la production : si des réponses négatives se concentrent quelque part, l'équipe regarde si le jeu d'essai montre la même chute sous cette étiquette, sinon il a une lacune. Dropbox applique une même grille à des requêtes de production échantillonnées via un juge en ligne. Ce sont des pratiques déclarées par les éditeurs, non des mesures indépendantes, et des entreprises différentes avec des métriques différentes : n'y voyez pas un comparatif. Déployez quand la comparaison, la lecture humaine et la surveillance de production concordent.
Méthode et limites
2026-11-01
Cet état daté compte les entreprises distinctes disposant de preuves clients publiques. CONFIRMED désigne une étude de cas, un témoignage nommé ou une source de presse ; DECLARED, une déclaration de l’entreprise elle-même ; OBSERVED, une liste de clients publiée par un éditeur ; SIGNAL, une offre d’emploi. Les quatre niveaux comptent, avec des forces différentes. Les lignes retirées ou sans niveau sont exclues. Les exemples forment une sélection limitée, vérifiée dans les 90 jours. Les faits éditeurs sont sourcés et vérifiés dans les 60 jours. La couverture est inégale ; une preuve absente reste inconnue. Ces chiffres ne mesurent ni les parts de marché ni les performances. Les dates de collecte ne sont pas des dates d’adoption.
