Nuestra lectura
Con Braintrust, ejecute el prompt antiguo y el nuevo sobre un mismo conjunto de datos creado con trazas reales, con puntuaciones por código para las reglas estrictas y un juez LLM para el sentido, y lea usted mismo los fallos. Los ejemplos publicados por Box y Coursera muestran puntuaciones automáticas que pasan por alto el crédito parcial y las respuestas vagas: la puntuación es un filtro, no la decisión de salir a producción.
Por qué un prompt modificado necesita una prueba y no un vistazo
Un cambio de prompt que arregla el error que tiene delante puede romper otra cosa sin avisar. Dropbox lo describe en su caso de estudio: al sumarse más ingenieros al asistente Dash, cada uno editaba el prompt tras un reporte de error, cada arreglo causaba un problema en otro sitio y las hojas de cálculo dejaron de bastar.
Braintrust presenta sus evaluaciones como la respuesta: ejecutar experimentos con conjuntos de datos reales, comparar prompts y modelos en paralelo y puntuar las salidas con LLM, código o personas. El recorrido siguiente sigue esa forma. Es una secuencia editorial basada en la descripción del proveedor y en tres historias de clientes publicadas, no un procedimiento que Braintrust imponga; los resultados citados provienen de los propios proveedores o clientes.
Paso 1: construir el conjunto de prueba a partir de trazas reales
Braintrust afirma que las trazas de producción pueden convertirse en conjuntos de datos de evaluación con un clic, de modo que las pruebas de regresión nazcan de fallos reales y no de ejemplos inventados. Coursera muestra una curación cuidadosa: el equipo revisa transcripciones anonimizadas del chatbot y tareas calificadas por personas, presta atención a las conversaciones con pulgar arriba o abajo y añade casos sintéticos generados por LLM para los extremos.
Consejo editorial: incluya los casos que el nuevo prompt debe arreglar y también una muestra de casos corrientes que el anterior ya resolvía. Un conjunto hecho solo de fallos no puede demostrar que algo se rompió. La retención importa: la página de precios indica 14 días incluidos en Starter y 30 en Pro, así que copie las trazas necesarias a un conjunto de datos antes de que caduquen.
Paso 2: ejecutar ambas versiones con las mismas entradas
Ejecute el prompt actual y el candidato sobre el mismo conjunto de datos con los mismos evaluadores, cambiando solo el prompt. Box aplica la misma lógica a mayor escala: un conjunto fijo como referencia, experimentos en paralelo con muchos modelos, comparados en precisión, latencia, coste, uso de tokens y uso de herramientas. Su equipo también lanza las evaluaciones por programa cada noche y por la mañana ve qué empeoró o mejoró.
Dropbox divide el trabajo en dos niveles: 150 pruebas dirigidas antes de fusionar una pull request y, tras la fusión, un conjunto de más de 10.000. Para su propio flujo, la lista de integraciones incluye Pytest, OpenTelemetry, LangChain y el OpenAI Agents SDK, lo que sugiere que la ejecución puede vivir en código que ya tiene. Las páginas consultadas no detallan cómo se almacena y promueve una versión de prompt: pruébelo en el plan gratuito antes de depender de ello.
Paso 3: elegir puntuaciones y conocer sus puntos ciegos
Las puntuaciones por código son deterministas, pero solo comprueban lo que usted escribió. Box califica las citas con código puro: archivo esperado frente a archivo citado. Coursera usa comprobaciones heurísticas de formato y estructura. Ninguna dice si la respuesta es útil.
Los modelos jueces cubren el significado, con sus propias debilidades. Box pasa cada punto de la rúbrica por separado a un juez, pero una regla de todo o nada marcó como fallo una respuesta bien explicada con cuatro de cinco hechos esperados. Dropbox comprobó que ROUGE, BLEU y la similitud del coseno no captaban citas, fundamentación ni tono, y pasó a jueces LLM que empezaron amplios y se fueron especializando. Box también desaconseja que un LLM escriba el conjunto de prueba y luego lo juzgue: puede sacar 100 % sin enseñar nada.
Paso 4: leer usted mismo los fallos
Box descubrió su problema de crédito parcial recorriendo los fallos pregunta por pregunta y abriendo los registros de traza. En Coursera, el prototipo de calificación parecía correcto con entregas válidas hasta que el equipo vio que respuestas vagas seguían obteniendo buena nota, y añadió casos de prueba negativos. En ambas historias, leer ejemplos reveló lo que la cifra global ocultaba.
Los límites de los planes condicionan este paso. Las puntuaciones de revisión humana se limitan a una por proyecto en Starter y son ilimitadas en Pro, que cuesta 249 dólares al mes; las puntuaciones incluidas son 10.000 en Starter y 50.000 en Pro. Braintrust describe además vistas de traza específicas para crear interfaces de anotación sin desarrollo de frontend, útiles si sus revisores necesitan un diseño propio para su contenido.
Paso 5: decidir y saber qué no demuestra la puntuación
Un umbral es una decisión del equipo, no una propiedad de la herramienta. Box condicionó el lanzamiento interno a superar el 80 % en unas ochenta preguntas y luego lo amplió a un conjunto de referencia de 330 para la disponibilidad general. Las primeras puntuaciones rondaban el sesenta por ciento y eso era aceptable porque los fallos eran legibles y se podían clasificar por etiqueta.
Una buena puntuación fuera de línea solo cubre las preguntas que usted escribió. Box vigila producción: si las respuestas negativas se concentran en algún punto, comprueba si el conjunto de prueba muestra la misma caída bajo esa etiqueta; si no, tiene una laguna. Dropbox aplica la misma rúbrica a consultas de producción muestreadas con un juez en línea. Son prácticas declaradas por los proveedores, no mediciones independientes, y son empresas distintas con métricas distintas: no lo lea como una comparativa. Despliegue cuando la comparación, la lectura humana y la vigilancia en producción coincidan.
Método y límites
2026-11-01
Esta instantánea fechada cuenta empresas distintas con pruebas públicas de clientes. CONFIRMED indica un caso de estudio, testimonio identificado o fuente de prensa; DECLARED, una declaración de la propia empresa; OBSERVED, una lista de clientes del proveedor; SIGNAL, una oferta de empleo. Los cuatro niveles cuentan, con distinta solidez. Se excluyen las líneas retiradas o sin nivel. Los ejemplos son una selección limitada verificada en los últimos 90 días. Los datos del proveedor tienen fuentes comprobadas en los últimos 60 días. La cobertura es desigual y la ausencia de pruebas es desconocida. Las cifras no miden cuota de mercado ni rendimiento; las fechas de captura no son fechas de adopción.
