Nuestra lectura
Empiece por el rastreo y unas pocas evaluaciones en un solo agente, y decida a quién se avisa antes de escribir un monitor. PagerDuty muestra el ciclo completo: monitor, aviso de baja urgencia, ticket de Jira. Una puntuación de evaluación es una señal técnica; ningún caso leído demuestra un resultado de negocio.
Un agente, un responsable y un umbral para empezar
Arize AX es una plataforma de rastreo, evaluación y supervisión de agentes de IA. Una aplicación tradicional falla o no falla. Un agente puede responder con soltura tras elegir mal una herramienta, así que hay que ver cada paso y puntuarlo. Eso es lo que Arize describe para AX: trazas de extremo a extremo, evaluaciones por span, traza y sesión, y señales de producción que apuntan a los problemas.
Mi consejo es pilotar un solo agente y resolver tres preguntas antes del primer monitor: a quién se avisa, con qué umbral de calidad y quién corrige. El ejemplo de PagerDuty es el modelo más claro porque aborda las tres.
Trazas: qué se captura y cuánto cabe en cada plan
La documentación de integraciones separa el rastreo de la evaluación. El rastreo cubre 16 proveedores de LLM (entre ellos OpenAI, Anthropic, Google GenAI y AWS Bedrock), frameworks de agentes en Python, TypeScript o JavaScript, Java y .NET, diez agentes de código como GitHub Copilot, Cursor y Devin, y plataformas como Dify, Flowise y LangFlow. También figuran vías OpenTelemetry: Arize OTEL, OpenLLMetry y OpenLIT.
El volumen define el plan. La tabla de precios indica 25 000 spans al mes y 15 días de retención en AX Free, y 50 000 spans y 30 días en AX Pro, a 50 dólares al mes. Enterprise tiene volumen y retención a medida y admite autoalojamiento. Evaluaciones, experimentos y anotaciones humanas figuran como ilimitados en todos los niveles. Una ejecución de agente genera muchos spans: estímelos en una prueba antes de elegir plan.
Evaluaciones: juez LLM, verdad de referencia y opinión humana
En PagerDuty, según Arize, se aplican varios tipos de evaluación a los agentes de PagerDuty Advance. Las preguntas deterministas, como los incidentes de ayer, se comprueban contra una verdad de referencia. Un juez LLM puntúa cada paso: elección de herramienta, exactitud de parámetros y relevancia de la respuesta. Los usuarios también dan un pulgar arriba o abajo en Slack, ligado al identificador del span para reconstruir la traza.
TheFork evalúa componentes concretos en lugar de tratar el sistema como una caja negra: calidad de las llamadas al LLM, corrección de las barreras de seguridad, calidad de la recuperación, latencia, uso de tokens y errores. Combina jueces LLM con comprobaciones en código y se centra en los tramos de tráfico con más señal, como los spans que superan umbrales de latencia o de barreras. Las evaluaciones en línea corren de forma continua, con cargas por hora y recuperaciones dirigidas. Según Arize, el rastreo reveló llamadas de embeddings duplicadas en una ruta crítica y eliminarlas redujo la latencia p95.
Alertas: del monitor al aviso y al ticket
En PagerDuty, cuando una métrica de calidad de las respuestas cruza un umbral, Arize envía una alerta a PagerDuty. El ingeniero de guardia del equipo de agentes recibe un aviso de baja urgencia, y un flujo de incidentes crea un ticket de Jira para dar visibilidad y asignar responsable. Después, el agente SRE propio hace el triaje de los incidentes de IA: decide si hace falta escalar a una persona e incorpora al incidente el contexto de patrones de fallo de Arize.
Sobre quién corrige, el caso describe un modelo repartido. Ingenieros de agentes especializados actúan como expertos internos y construyen herramientas comunes, los ingenieros de software de la empresa crean agentes sobre ellas, y los responsables de producto revisan cada vez más el comportamiento de los agentes para ajustar los bucles de retroalimentación. Decida pronto qué rol se queda con el ticket de Jira en su organización.
Booking.com: recoger una vez, retirar lo sensible y enrutar
Booking.com sigue dos vías. Las trazas de agentes usan las convenciones OpenTelemetry y OpenInference y pasan por un recolector central que muestrea, retira los pasajes sensibles y envía los datos a Arize y a sistemas de análisis. Los modelos de ML clásicos alimentan Arize con registros de predicciones del almacén de datos, con etiquetas cuando están disponibles. Si sus agentes manejan datos personales, un recolector delante de la herramienta es el diseño a imitar.
Arize relata dos episodios. En uno, la supervisión detectó un agente cuya latencia subió varias desviaciones típicas sobre su nivel habitual; la causa fue un experimento nuevo con otro modelo sin el nivel de servicio adecuado. En el otro, durante el prototipo de un agente de planificación de itinerarios, los tokens en P90 se dispararon y los turnos posteriores puntuaban peor en evaluaciones multiturno: enlaces largos a atracciones, reinyectados en el historial, inflaban el contexto. Según el caso, el equipo intervino antes de que esa configuración llegara a producción. Son declaraciones del proveedor sobre una empresa, no una prueba comparativa.
Puntuación de calidad frente a resultado de negocio, y límites
Todos los resultados de estos casos son señales técnicas: latencia, elección de herramienta, calidad de recuperación, puntuaciones de evaluación. Las fuentes leídas no vinculan ninguna puntuación con ingresos, conversión o coste de soporte. Haga usted ese cruce, por ejemplo comparando las evaluaciones con una métrica que ya siga el equipo de producto. Es una recomendación editorial, no una función de Arize.
Conviene aclarar un punto antes de comprar: la página de integraciones lista integraciones de rastreo y evaluación, pero ninguna de alertas o notificaciones, mientras que PagerDuty describe avisos y tickets de Jira. Compruebe en una prueba cómo llega un monitor a sus herramientas de guardia y tickets. Los recuentos de clientes de usedby indican quién usa Arize, no lo bien que funciona.
Método y límites
2026-10-20
Esta instantánea fechada cuenta empresas distintas con pruebas públicas de clientes. CONFIRMED indica un caso de estudio, testimonio identificado o fuente de prensa; DECLARED, una declaración de la propia empresa; OBSERVED, una lista de clientes del proveedor; SIGNAL, una oferta de empleo. Los cuatro niveles cuentan, con distinta solidez. Se excluyen las líneas retiradas o sin nivel. Los ejemplos son una selección limitada verificada en los últimos 90 días. Los datos del proveedor tienen fuentes comprobadas en los últimos 60 días. La cobertura es desigual y la ausencia de pruebas es desconocida. Las cifras no miden cuota de mercado ni rendimiento; las fechas de captura no son fechas de adopción.
