Nuestra lectura
El recorrido tiene cuatro pasos: localizar la traza defectuosa, copiarla con una respuesta esperada correcta a un conjunto de datos, repetir ese conjunto sobre la versión corregida y dejar que evaluadores en línea vigilen la producción. LangSmith aporta trazado, evaluadores y alertas; su equipo aporta la respuesta correcta, la elección de evaluadores y el umbral. Las trazas base se conservan 14 días, así que conviene copiar la traza a un conjunto de datos al diagnosticar (deducción editorial).
Partir de la respuesta errónea, no de retocar el prompt
Imaginemos un caso hipotético, a modo de ejemplo editorial: un agente de soporte indica un plazo de reembolso equivocado. Un cliente lo avisa, o un panel muestra una puntuación de feedback baja. El reflejo es modificar el prompt. Lo mejor es empezar por localizar la ejecución exacta que produjo esa respuesta.
En LangSmith, una traza es una ejecución de su aplicación y puede contener muchos pasos, como llamadas al modelo y otros eventos registrados. En agentes conversacionales, la agrupación por hilos de mensajes permite releer los turnos anteriores. La instrumentación usa los SDK de Python, TypeScript, Go o Java, o bien OpenTelemetry. El proveedor afirma que las trazas se envían de forma asíncrona y no ralentizan la aplicación.
Leer la traza antes de culpar al modelo
La traza muestra lo que hizo el agente paso a paso, con latencia, coste y calidad de la respuesta. En nuestro caso, la pregunta útil es si el plazo erróneo vino de un documento mal recuperado, de una herramienta llamada con parámetros incorrectos o del propio modelo. La corrección, y por tanto la prueba, cambia en cada caso. Insights agrupa las trazas por tema y modo de fallo, lo que ayuda a ver si el defecto es aislado o recurrente.
Si las trazas contienen datos de clientes, el alojamiento importa. La nube gestionada almacena los datos en GCP us-central-1. Existen opciones BYOC y autoalojadas, y el plan Enterprise puede ejecutarse en su propio clúster de Kubernetes. El proveedor declara que no entrena modelos con sus datos.
Pasar la traza a un conjunto de datos antes de que caduque
La tabla de precios menciona la recopilación de conjuntos de datos y una cola de anotación para feedback humano. Las páginas de producto no detallan los pasos que convierten una traza en un ejemplo; confirme ese punto en la documentación o en una demostración.
La retención marca el ritmo. Las trazas base se conservan 14 días y las extendidas 180 días, y una traza base puede ascenderse a extendida por un coste adicional. El proveedor presenta las extendidas como útiles cuando llevan feedback de usuarios, evaluadores o anotadores. Nuestra deducción editorial: si la investigación supera las dos semanas, la traza puede haber desaparecido. Copie la entrada y la salida defectuosa a un conjunto de datos al diagnosticar.
Hay un paso que ninguna herramienta hace por usted: escribir la respuesta esperada. LangSmith no sabe que su plazo de reembolso es de 30 días. Alguien que conozca la política debe decidirlo, y la cola de anotación sirve para recoger ese criterio. El producto Engine, facturado en LSU, también puede crear conjuntos de datos para revisión humana; la revisión sigue siendo humana.
Repetir: comparar la versión defectuosa con la corregida
La tabla de precios enumera evaluaciones offline, un Playground y un Prompt Hub. Es una recomendación editorial, no una capacidad descrita paso a paso por el proveedor: ejecute el conjunto sobre la versión actual y luego sobre la corregida. El ejemplo añadido debería pasar de fallo a acierto, y los demás ejemplos no deberían empeorar.
Un conjunto de un solo ejemplo prueba poco. Añada preguntas cercanas (otros plazos, otros productos) y casos que ya eran correctos. Un evaluador en código sirve para lo que se comprueba de forma mecánica, como el número exacto de días. Un juez LLM encaja mejor con el tono o la formulación, pero es otro modelo que hay que controlar: compare sus veredictos con los de un revisor humano en unos pocos ejemplos antes de confiar en él.
Vigilar en producción lo que el conjunto de pruebas no cubre
Una vez publicada la corrección, la vigilancia toma el relevo. LangSmith ofrece evaluadores en línea, LLM-as-judge o código, aplicados a la producción, además de seguimiento de la trayectoria de herramientas y agentes. Los paneles siguen tokens, latencia P50 y P99, errores, costes y puntuaciones de feedback, con alertas por webhook o PagerDuty cuando una métrica cruza un umbral.
El umbral es una decisión del equipo: ¿a partir de qué nivel de fallos se avisa a alguien? Recomendación editorial: antes de confiar en ello, compruebe que la puntuación de un evaluador en línea dispara de verdad una alerta por webhook o PagerDuty. Los Tuned Evaluators, en beta pública para los planes Plus y Cloud Enterprise en Estados Unidos, cuestan 0,015 LSU por evaluación completada con éxito.
Lo que impone el plan y lo que queda en manos del equipo
Developer cuesta 0 $ con un puesto y 5000 trazas base al mes. Plus cuesta 39 $ por puesto con 10 000 trazas base, y después pago por uso, a 0,005 LSU por traza adicional, con 1 LSU igual a 1 $. Como una traza también cubre ejecuciones de evaluadores y del Playground, compruebe cómo cuentan sus evaluaciones en línea en el volumen. Puede empezar solo con trazado y añadir evaluaciones después.
En la página de clientes del proveedor aparecen Cisco, Toyota, Salesforce, Orange Business y Numan. Los títulos de sus historias hablan de una plataforma de observabilidad centralizada, un panel tipo andon para agentes, evaluaciones de agentes estandarizadas, inteligencia en vivo construida sobre LangChain y LangSmith, y un coach de salud diseñado en torno a la evaluación.
Método y límites
2026-10-30
Esta instantánea fechada cuenta empresas distintas con pruebas públicas de clientes. CONFIRMED indica un caso de estudio, testimonio identificado o fuente de prensa; DECLARED, una declaración de la propia empresa; OBSERVED, una lista de clientes del proveedor; SIGNAL, una oferta de empleo. Los cuatro niveles cuentan, con distinta solidez. Se excluyen las líneas retiradas o sin nivel. Los ejemplos son una selección limitada verificada en los últimos 90 días. Los datos del proveedor tienen fuentes comprobadas en los últimos 60 días. La cobertura es desigual y la ausencia de pruebas es desconocida. Las cifras no miden cuota de mercado ni rendimiento; las fechas de captura no son fechas de adopción.
