Herramientas de IA para su profesión
Beta limitadaPara elegir una herramienta de IA, empiece por la tarea que quiere realizar. usedby conecta áreas profesionales y tareas con categorías de herramientas y ejemplos públicos que puede examinar.
¿Su profesión no aparece? Describa la tarea que quiere realizar.
Entrenar y evaluar modelos
Estos resultados muestran usos públicos de esta categoría. No demuestran el uso por su profesión ni la idoneidad para esta tarea exacta. Sus requisitos no se han evaluado.
Categoría, sector y tamaño de empresa
El tamaño describe al empleador. No demuestra el acceso para un profesional independiente.
Observabilidad y evaluación de LLM
158 empresas, 6 herramientas
Sobre estas cifras
Los recuentos corresponden a empresas registradas en usedby, no a cuotas de mercado. Cuentan los cuatro niveles de prueba. El tamaño desconocido solo se excluye de vistas por tamaño. Sus requisitos no se han evaluado.
Empresas de tamaño conocido: 60 %. Empresas proveedoras excluidas de esta categoría: 0.
LangSmith
46 empresas
1 confirmado43 observados2 señales
Harvey ejecuta evaluaciones sin conexión de su sistema de búsqueda agéntica en LangSmith, utilizando trazas de OpenTelemetry del OpenAI Agent SDK. Las evaluaciones miden métricas como alucinación, recall de herramientas, recall de recuperación, formato y calidad de las respuestas.
Texto original
Centralized evaluation infrastructure that we built using the OpenAI Agent SDK's OpenTelemetry traces enables us to run offline evaluations in LangSmith. We track metrics like hallucination, tool recall, retrieval recall, formatting, and answer quality.
Harvey · Leer la fuente 
Braintrust
42 empresas
13 confirmados28 observados1 señal
Los gestores de producto de Box usan Braintrust como sistema de referencia para los conjuntos de datos, experimentos y métricas que sustentan las evaluaciones de Box Agent.
Texto original
Box's path to launch was determined by datasets. Before opening the agent to internal dogfooding, the team built a set of roughly eighty questions covering core functionality and decided there would be no internal release until the agent scored above 80%.
Box · Leer la fuente 
Arize AI
32 empresas
9 confirmados23 observados
Booking.com usa Arize para rastrear, monitorizar y evaluar sus agentes de IA generativa y sus modelos de aprendizaje automático tradicionales (como los de clasificación y detección de fraude) en producción y durante el desarrollo.
Texto original
In one case, an Arize monitor fired when latency for a specific agent suddenly spiked several standard deviations above its baseline.
Booking.com · Leer la fuente 
Comet Opik
17 empresas
10 confirmados7 observados
Zencoder utiliza Opik para rastrear y evaluar los resultados de sus agentes de programación basados en LLM, depurar comportamientos inesperados de los modelos y comparar prompts y modelos entre experimentos.
Texto original
Opik was built to scale and supports the team's high volume of experimentation, as they are currently running thousands of experiments daily.
Zencoder · Leer la fuente 
Fiddler AI
14 empresas
3 confirmados11 observados
