Notre lecture
Le parcours tient en quatre gestes : retrouver la trace fautive, la verser avec une réponse attendue dans un jeu de données, rejouer ce jeu sur la version corrigée, puis laisser des évaluateurs en ligne surveiller la production. LangSmith fournit le traçage, les évaluateurs et les alertes ; l'équipe fournit la bonne réponse, le choix des évaluateurs et le seuil. Avec 14 jours de rétention pour les traces de base, mieux vaut copier la trace dans un jeu de données dès le diagnostic (déduction éditoriale).
Partir d'une réponse fausse, pas d'un prompt à retoucher
Prenons un cas hypothétique, donné ici à titre d'exemple éditorial : un agent de support annonce un délai de remboursement erroné. Un client le signale, ou un tableau de bord fait remonter un score de feedback bas. Le réflexe est de modifier le prompt. Le bon premier geste est de retrouver l'exécution exacte qui a produit cette réponse.
Dans LangSmith, une trace correspond à une exécution de l'application. Elle peut contenir de nombreuses étapes, comme des appels au modèle et d'autres événements suivis. Pour un agent conversationnel, le regroupement par fil de messages permet de relire les tours précédents. L'instrumentation passe par les SDK Python, TypeScript, Go ou Java, ou par OpenTelemetry. L'éditeur indique que l'envoi des traces est asynchrone et ne ralentit pas l'application.
Lire la trace avant de conclure que le modèle a tort
La trace montre ce que l'agent a fait étape par étape, avec la latence, le coût et la qualité de réponse. Sur notre cas, la question utile est : le mauvais délai vient-il d'un document mal récupéré, d'un outil appelé avec de mauvais paramètres ou du modèle lui-même ? Selon la réponse, le correctif et donc le test ne sont pas les mêmes. La fonction Insights regroupe automatiquement les traces par sujet et par mode d'échec, ce qui aide à voir si le défaut est isolé ou récurrent.
Si les traces contiennent des données clients, l'hébergement compte. Le cloud géré de l'éditeur stocke les données dans GCP us-central-1. Des options BYOC et auto-hébergées existent, et le plan Enterprise peut tourner sur votre cluster Kubernetes. L'éditeur déclare ne pas entraîner de modèle sur vos données.
Verser la trace dans un jeu de données avant qu'elle expire
La grille tarifaire cite la collecte de jeux de données et une file d'annotation pour le feedback humain. Les pages produit ne détaillent pas les clics qui transforment une trace en exemple ; confirmez ce point dans la documentation ou lors d'une démonstration.
La rétention impose le tempo. Les traces de base sont conservées 14 jours, les traces étendues 180 jours, et une trace de base peut être promue en trace étendue moyennant un supplément. L'éditeur présente les traces étendues comme utiles quand elles portent du feedback d'utilisateurs, d'évaluateurs ou d'annotateurs. Notre déduction éditoriale : si l'enquête dure plus de deux semaines, la trace peut disparaître. Copiez l'entrée et la sortie fautive dans un jeu de données dès le diagnostic.
Reste l'étape qu'aucun outil ne fait à votre place : écrire la réponse attendue. LangSmith ne sait pas que le délai est de 30 jours chez vous. Quelqu'un qui connaît la politique de remboursement doit trancher, et la file d'annotation est faite pour recueillir ce jugement. Le module Engine, facturé en LSU, peut aussi créer des jeux de données destinés à une relecture humaine ; la relecture reste humaine.
Rejouer : comparer la version fautive et la version corrigée
La grille tarifaire liste des évaluations hors ligne, un Playground et un Prompt Hub. Recommandation éditoriale, pas une capacité décrite pas à pas par l'éditeur : lancez le jeu de données sur la version actuelle, puis sur la version corrigée. L'exemple ajouté doit passer d'échec à réussite, et les autres exemples ne doivent pas se dégrader.
Un jeu d'un seul exemple prouve peu. Ajoutez des questions voisines (autres délais, autres produits) et des cas déjà corrects. Un évaluateur en code convient à ce qui se vérifie mécaniquement, comme la présence du délai exact. Un évaluateur LLM convient mieux au ton ou à la formulation, mais c'est un modèle de plus à contrôler : comparez ses verdicts à ceux d'un relecteur humain sur quelques exemples avant de lui faire confiance.
Surveiller en ligne ce que le jeu de test ne couvre pas
Une fois le correctif livré, la surveillance prend le relais. LangSmith propose des évaluateurs en ligne, LLM-as-judge ou code, appliqués à la production, ainsi qu'un suivi de la trajectoire des outils et des agents. Les tableaux de bord suivent jetons, latence P50 et P99, erreurs, coûts et scores de feedback, avec des alertes par webhook ou PagerDuty quand une métrique franchit un seuil.
Le seuil est une décision d'équipe : à partir de quel niveau d'échec réveille-t-on quelqu'un ? Recommandation éditoriale : testez, avant de compter dessus, qu'un score d'évaluateur en ligne déclenche bien une alerte webhook ou PagerDuty. Les Tuned Evaluators, en bêta publique pour les plans Plus et Cloud Enterprise aux États-Unis, sont facturés 0,015 LSU par évaluation réussie.
Ce que l'offre impose, et ce qui revient à l'équipe
Developer coûte 0 $ avec un siège et 5 000 traces de base par mois. Plus coûte 39 $ par siège avec 10 000 traces de base, puis paiement à l'usage, à 0,005 LSU par trace supplémentaire, 1 LSU valant 1 $. Une trace couvrant aussi les exécutions d'évaluateur ou de Playground, vérifiez comment vos évaluations en ligne comptent dans le volume. On peut commencer par le traçage seul et ajouter les évaluations ensuite.
Sur le site de l'éditeur, Cisco, Toyota, Salesforce, Orange Business et Numan figurent parmi les clients. Les titres de leurs histoires évoquent une plateforme d'observabilité centralisée, un tableau de bord de type andon pour agents, des évaluations d'agents standardisées, une intelligence en direct construite sur LangChain et LangSmith, et un coach santé conçu autour de l'évaluation.
Méthode et limites
2026-10-30
Cet état daté compte les entreprises distinctes disposant de preuves clients publiques. CONFIRMED désigne une étude de cas, un témoignage nommé ou une source de presse ; DECLARED, une déclaration de l’entreprise elle-même ; OBSERVED, une liste de clients publiée par un éditeur ; SIGNAL, une offre d’emploi. Les quatre niveaux comptent, avec des forces différentes. Les lignes retirées ou sans niveau sont exclues. Les exemples forment une sélection limitée, vérifiée dans les 90 jours. Les faits éditeurs sont sourcés et vérifiés dans les 60 jours. La couverture est inégale ; une preuve absente reste inconnue. Ces chiffres ne mesurent ni les parts de marché ni les performances. Les dates de collecte ne sont pas des dates d’adoption.
