Notre lecture
Aucun des deux produits ne manque d'une étape clé : tous deux documentent traces, jeux de données, scores automatiques et humains, prise en charge d'OpenTelemetry, plan gratuit et une option d'hébergement Enterprise au-delà du SaaS (Arize : SaaS ou auto-hébergé ; Braintrust : sur site ou hébergé, plus un plan de données hybride). Booking.com et Tripadvisor décrivent l'usage d'Arize AX pour le ML classique et les LLM, un atout si vous surveillez les deux. Sinon, le choix dépend de votre liste de frameworks et du compteur de plan que vous atteindrez en premier (spans, ou gigaoctets et scores). Les récits clients montrent des accents, pas des fonctions manquantes. Passez les mêmes traces défaillantes dans les deux plans gratuits.
Arize AX et Braintrust sur le parcours commun trace, cas d'essai, revue, d'après les pages éditeur consultées en octobre 2026.
| Critère | Braintrust | Arize AI |
|---|---|---|
| Traces et intégrations | Braintrust Environ 90 intégrations ; SDK en cinq langages | Arize AI OpenInference/OpenTelemetry ; nombreux frameworks |
BraintrustListe Vercel AI SDK, Claude Agent SDK, OpenAI Agents SDK, LlamaIndex, CrewAI, LangChain, LangGraph, OpenTelemetry, Mastra, Pydantic AI, DSPy et Pytest.[3] [4] Arize AILa documentation liste LangChain, LangGraph, LlamaIndex, CrewAI, DSPy, Haystack, Pydantic AI, Claude Code, Cursor, Dify, Flowise et Airflow. Le traçage repose sur OpenInference au-dessus d'OpenTelemetry.[1] [2] | ||
| Évaluations et jeux de données | Braintrust Jeux versionnés ; scoreurs LLM, code ou humains | Arize AI Évals de span, trace, session ; jeux listés |
BraintrustDécrit des évaluations sur jeux versionnés, la trace vers jeu de données en un clic et l'agent Loop qui propose prompts, scoreurs et jeux de données.[4] Arize AIDécrit des évaluations en ligne et hors ligne, de traces et de sessions, des jeux de données, des expériences et la relecture de traces dans le playground. Booking.com crée ses jeux à partir de la production.[2] [5] [6] | ||
| Revue humaine | Braintrust 1 score de revue humaine par projet en Starter | Arize AI Annotations et files illimitées sur tous les plans Ergonomie non testée |
BraintrustStarter inclut un score de revue humaine par projet ; Pro et Enterprise sont listés illimités. Des vues d'annotation personnalisées sont décrites sur la page d'accueil.[8] [4] Arize AILa grille tarifaire liste annotations humaines et files d'étiquetage illimitées en Free, Pro et Enterprise. PagerDuty relie les retours Slack à l'identifiant de span.[5] [7] | ||
| Compteurs des plans | Braintrust Go, scores, crédits ; Pro 249 $/mois Compteurs différents, non comparables | Arize AI Spans, Go, rétention ; Pro 50 $/mois |
BraintrustStarter 0 $ : 1 Go, 10 000 scores, 14 jours. Pro 249 $ par mois : 5 Go, 50 000 scores, 30 jours. Enterprise sur mesure.[8] Arize AIFree : 25 000 spans, 1 Go, 15 jours. Pro à 50 $ par mois : 50 000 spans, 10 Go, 30 jours. Enterprise sur mesure.[5] | ||
| Hébergement et données | Braintrust Hébergé ou sur site en Enterprise ; SOC 2 Type II | Arize AI SaaS ; auto-hébergé en Enterprise Conformité par plan : à demander |
BraintrustEnterprise propose un déploiement sur site ou hébergé ; un plan de données hybride est décrit. SOC 2 Type II indiqué et accord de traitement des données disponible.[9] [10] [4] Arize AIFree et Pro en SaaS ; Enterprise en SaaS ou auto-hébergé. Régions de données US, UE ou CA listées sur chaque plan. Phoenix est une option open source locale.[5] [2] | ||
Sources
Un même parcours : réponse défaillante, cas d'essai, évaluation, revue
Braintrust décrit le traçage des prompts, des réponses et des appels d'outils, puis des évaluations sur jeux de données versionnés, notées par des LLM, du code ou des humains. Sa page d'accueil cite une action en un clic qui transforme des traces de production en jeux d'évaluation, et des vues d'annotation que l'équipe adapte à son flux de revue.
Arize présente la même boucle en trois temps, observer, évaluer, apprendre : évaluations de spans, de traces et de sessions, plus un playground pour tester les prompts avant le déploiement. Sa grille tarifaire liste jeux de données, expériences, versionnement des prompts et relecture de traces dans le playground. Booking.com indique créer ses jeux d'expérimentation directement à partir des données de production. Les deux outils disposent donc de jeux de données ; ce que les pages ne disent pas, c'est la fluidité de cette étape au quotidien.
Ce que montrent les parcours clients, et ce qu'ils ne montrent pas
Dropbox décrit trois niveaux dans Braintrust : 150 tests rapides avant fusion, une suite de plus de 10 000 tests après fusion, et un juge LLM qui note des requêtes de production échantillonnées selon la même grille, avec tableaux de bord et alertes. Un pouce levé ou baissé sur une réponse devient une trace qui alimente de nouveaux jeux de test. Box décrit des chefs de produit qui rédigent cas d'essai et grilles, des exécutions programmatiques chaque nuit, et une règle : l'agent devait dépasser 80 % sur un jeu d'environ quatre-vingts questions avant la diffusion interne ; un jeu de référence d'environ 330 questions a ensuite défini la disponibilité générale.
PagerDuty décrit le versant production dans Arize : les retours Slack sont rattachés à l'identifiant de span de la réponse, des juges LLM notent le choix d'outil, les paramètres et la pertinence, et le franchissement d'un seuil de qualité déclenche une alerte de faible urgence et un ticket Jira. Booking.com fait passer ses traces par un collecteur qui les échantillonne et supprime les passages sensibles avant l'export vers Arize ; des scores plus bas sur les tours suivants d'un chatbot ont mené l'équipe à de longs liens réinjectés dans le contexte, corrigés avant le lancement.
La différence est d'accent, pas de capacité : les récits Braintrust portent sur des seuils avant mise en production tenus par produit et ingénierie, ceux d'Arize sur la surveillance en direct reliée aux astreintes. Coursera décrit aussi une surveillance en ligne avec alertes dans Braintrust : aucun outil n'est cantonné à une phase. Ce sont des entreprises différentes qui rapportent leurs propres résultats ; elles ne classent pas les outils.
Traces et intégrations : vérifiez votre propre pile
Les listes se recoupent sur LangChain, LangGraph, LlamaIndex, CrewAI, DSPy et Pydantic AI. Braintrust ajoute Vercel AI SDK, Mastra, OpenTelemetry et Pytest ; sa documentation compte environ 90 intégrations et des SDK Python, TypeScript, Go, Ruby et C#. Arize ajoute Haystack, Dify, Flowise, Apache Airflow, Claude Code et Cursor ; sa documentation couvre aussi Claude Agent SDK et OpenAI Agents SDK, et précise qu'il faut instrumenter à la fois le framework d'agent et le fournisseur de modèle.
Arize s'appuie sur OpenInference, qu'il présente comme un standard ouvert au-dessus d'OpenTelemetry, et propose Phoenix, un outil open source utilisable en local. Braintrust liste aussi OpenTelemetry : la portabilité des traces ne les départage donc pas sur le papier.
Revue humaine et unités des plans : deux monnaies différentes
Arize indique des annotations humaines et des files d'étiquetage illimitées sur Free, Pro et Enterprise. Ses limites sont ailleurs : 25 000 spans par mois en Free et 50 000 en Pro, 1 Go et 10 Go d'ingestion, 15 et 30 jours de rétention, Pro à 50 $ par mois.
Braintrust Starter inclut un score de revue humaine par projet ; Pro les rend illimités. La facturation porte sur les données traitées (1 Go en Starter, 5 Go en Pro), les scores (10 000 et 50 000 par mois), les crédits de modèle et la rétention (14 et 30 jours), Pro à 249 $ par mois. Spans et gigaoctets sont des compteurs différents : les pages ne permettent aucune comparaison de prix. Estimez les deux avec votre trafic et votre taux d'échantillonnage.
Hébergement et traitement des données
Arize propose Free et Pro en SaaS, et SaaS ou auto-hébergé en Enterprise ; sa grille indique des régions de données États-Unis, UE ou Canada sur chaque plan. Chez Braintrust, la page tarifs place le déploiement sur site ou hébergé en Enterprise, et la page d'accueil décrit un mode hybride où le plan de données tourne sur votre infrastructure.
Braintrust indique une certification SOC 2 Type II et propose un accord de traitement des données. Cet accord précise que les clients Pro peuvent placer le plan de données dans l'UE, tandis que les données d'identité du plan de contrôle peuvent transiter vers les États-Unis, et que la fonction optionnelle Topics peut envoyer des données d'évaluation choisies à des modèles de sous-traitants. Son centre de confiance cite OpenAI, Anthropic et Google comme modèles optionnels pour Loop. Pour Arize, consultez son centre de confiance afin de savoir ce qui s'applique à votre plan.
Un essai à mener avant de choisir (suggestion éditoriale)
Prenez quelques mauvaises réponses réelles de votre application et passez-les dans les deux plans gratuits. Mesurez le temps entre la trace et le cas d'essai enregistré, vérifiez qu'un relecteur non ingénieur peut annoter sans aide, que les appels d'outils de votre framework apparaissent dans la trace, et quel compteur vous atteignez en premier à votre volume. Les pages ne répondent pas à ces questions.
Méthode et limites
2026-10-31
Cet état daté compte les entreprises distinctes disposant de preuves clients publiques. CONFIRMED désigne une étude de cas, un témoignage nommé ou une source de presse ; DECLARED, une déclaration de l’entreprise elle-même ; OBSERVED, une liste de clients publiée par un éditeur ; SIGNAL, une offre d’emploi. Les quatre niveaux comptent, avec des forces différentes. Les lignes retirées ou sans niveau sont exclues. Les exemples forment une sélection limitée, vérifiée dans les 90 jours. Les faits éditeurs sont sourcés et vérifiés dans les 60 jours. La couverture est inégale ; une preuve absente reste inconnue. Ces chiffres ne mesurent ni les parts de marché ni les performances. Les dates de collecte ne sont pas des dates d’adoption.
