Arize AX o Braintrust: trazar, probar y evaluar una aplicación LLM

Un mismo recorrido: respuesta fallida, caso de prueba, evaluación, revisión

Braintrust describe el trazado de prompts, respuestas y llamadas a herramientas, y luego evaluaciones sobre conjuntos de datos versionados puntuadas por LLM, código o personas. Su página principal menciona una acción de un clic que convierte trazas de producción en conjuntos de evaluación, y vistas de anotación que el equipo adapta a su flujo de revisión.

Arize plantea el mismo ciclo como observar, evaluar y aprender: evaluaciones de spans, trazas y sesiones, más un playground para probar prompts antes de desplegar. Su tabla de precios lista conjuntos de datos, experimentos, versionado de prompts y reproducción de trazas en el playground. Booking.com cuenta que crea sus conjuntos de experimentación directamente desde datos de producción. Ambas herramientas tienen conjuntos de datos; lo que las páginas no dicen es lo fluido que resulta ese paso en el día a día.

1235

Qué muestran los flujos de clientes y qué no

Dropbox describe tres niveles en Braintrust: 150 pruebas rápidas antes de fusionar, una suite de más de 10.000 pruebas después y un juez LLM que puntúa consultas de producción muestreadas con la misma rúbrica, con paneles y alertas. Un pulgar arriba o abajo en una respuesta se convierte en una traza que alimenta nuevos conjuntos de prueba. Box describe a responsables de producto que escriben casos y rúbricas, ejecuciones programáticas cada noche y una regla: el agente debía superar el 80 % en un conjunto de unas ochenta preguntas antes del lanzamiento interno; luego un conjunto de referencia de unas 330 preguntas definió la disponibilidad general.

PagerDuty describe el lado de producción en Arize: los comentarios de Slack se vinculan al identificador de span de la respuesta, jueces LLM puntúan la elección de herramienta, los parámetros y la relevancia, y superar un umbral de calidad abre un aviso de baja urgencia y un ticket de Jira. Booking.com envía sus trazas por un colector que las muestrea y elimina los pasajes sensibles antes de exportarlas a Arize; allí, unas puntuaciones más bajas en los turnos posteriores de un chatbot llevaron al equipo a unos enlaces largos reinyectados en el contexto, que corrigió antes del lanzamiento.

La diferencia es de énfasis, no de capacidad: los relatos de Braintrust giran en torno a umbrales previos al lanzamiento en manos de producto e ingeniería; los de Arize, en torno a la vigilancia en vivo ligada a las guardias. Coursera también describe monitorización en línea con alertas en Braintrust, así que ninguna herramienta se limita a una fase. Son empresas distintas que cuentan sus propios resultados; no clasifican las herramientas.

36789

Trazas e integraciones: compruebe su propia pila

Las listas coinciden en LangChain, LangGraph, LlamaIndex, CrewAI, DSPy y Pydantic AI. Braintrust añade Vercel AI SDK, Mastra, OpenTelemetry y Pytest; su documentación cuenta unas 90 integraciones y SDK para Python, TypeScript, Go, Ruby y C#. Arize añade Haystack, Dify, Flowise, Apache Airflow, Claude Code y Cursor; su documentación cubre también Claude Agent SDK y OpenAI Agents SDK, e indica que hay que instrumentar tanto el framework de agentes como el proveedor del modelo.

Arize se apoya en OpenInference, que presenta como estándar abierto sobre OpenTelemetry, y ofrece Phoenix, una herramienta de código abierto para uso local. Braintrust también lista OpenTelemetry, de modo que la portabilidad de las trazas no los separa sobre el papel.

21011

Revisión humana y unidades de los planes: monedas distintas

Arize lista anotaciones humanas y colas de etiquetado ilimitadas en Free, Pro y Enterprise. Sus límites están en otro lado: 25.000 spans al mes en Free y 50.000 en Pro, 1 GB y 10 GB de ingesta, 15 y 30 días de retención, con Pro a 50 $ al mes.

Braintrust Starter incluye una puntuación de revisión humana por proyecto; Pro las ofrece ilimitadas. Factura por datos procesados (1 GB en Starter, 5 GB en Pro), puntuaciones (10.000 y 50.000 al mes), créditos de modelo y retención (14 y 30 días), con Pro a 249 $ al mes. Spans y gigabytes son contadores distintos, así que las páginas no permiten comparar precios: estime ambos con su tráfico y su tasa de muestreo.

512

Alojamiento y tratamiento de datos

Arize ofrece Free y Pro como SaaS, y SaaS o autoalojado en Enterprise; su tabla indica regiones de datos en EE. UU., UE o Canadá en todos los planes. En Braintrust, la página de precios sitúa el despliegue local u hospedado en Enterprise, y la página principal describe un modo híbrido donde el plano de datos corre en su infraestructura.

Braintrust declara SOC 2 Type II y ofrece un acuerdo de tratamiento de datos. Ese acuerdo dice que los clientes Pro pueden ubicar el plano de datos en la UE, mientras que los datos de identidad del plano de control pueden ir a EE. UU., y que la función opcional Topics puede enviar datos de evaluación seleccionados a modelos de subencargados. Su centro de confianza cita a OpenAI, Anthropic y Google como modelos opcionales para Loop. En el caso de Arize, consulte su centro de confianza para saber qué se aplica a su plan.

15121314

Una prueba antes de decidir (sugerencia editorial)

Tome unas cuantas respuestas malas reales de su aplicación y páselas por los dos planes gratuitos. Mida cuánto se tarda de la traza al caso de prueba guardado, si una persona revisora que no es ingeniera puede etiquetar sin ayuda, si las llamadas a herramientas de su framework aparecen en la traza y qué contador alcanza primero con su volumen. Las páginas no responden a estas preguntas.

12