Ferramentas de IA para sua profissão
Beta limitadaPara escolher uma ferramenta de IA, comece pela tarefa que deseja realizar. O usedby relaciona áreas profissionais e tarefas a categorias de ferramentas, com exemplos públicos para examinar.
Sua profissão não está na lista? Descreva a tarefa que deseja realizar.
Treinar e avaliar modelos
Estes resultados mostram usos públicos nesta categoria. Não comprovam o uso pela sua profissão nem a adequação a esta tarefa exata. Seus requisitos não foram avaliados.
Categoria, setor e porte da empresa
O porte descreve o empregador. Não comprova o acesso para um profissional autônomo.
Observabilidade e avaliação de LLMs
158 empresas, 6 ferramentas
Sobre estes números
As contagens abrangem empresas registradas no usedby, não participação de mercado. Os quatro níveis de comprovação contam. Portes desconhecidos são excluídos apenas das visões por porte. Seus requisitos não foram avaliados.
Empresas com porte conhecido: 60%. Fornecedores excluídos desta categoria: 0.
LangSmith
46 empresas
1 confirmado43 observados2 sinais
A Harvey executa avaliações offline do seu sistema de busca agêntica no LangSmith, usando traces OpenTelemetry do OpenAI Agent SDK. As avaliações acompanham métricas como alucinação, recall de ferramentas, recall de recuperação, formatação e qualidade da resposta.
Texto original
Centralized evaluation infrastructure that we built using the OpenAI Agent SDK's OpenTelemetry traces enables us to run offline evaluations in LangSmith. We track metrics like hallucination, tool recall, retrieval recall, formatting, and answer quality.
Harvey · Ler a fonte 
Braintrust
42 empresas
13 confirmados28 observados1 sinal
Os gerentes de produto da Box usam o Braintrust como sistema de registro dos datasets, experimentos e métricas por trás dos evals do Box Agent.
Texto original
Box's path to launch was determined by datasets. Before opening the agent to internal dogfooding, the team built a set of roughly eighty questions covering core functionality and decided there would be no internal release until the agent scored above 80%.
Box · Ler a fonte 
Arize AI
32 empresas
9 confirmados23 observados
O Booking.com usa o Arize para rastrear, monitorar e avaliar seus agentes de GenAI e modelos tradicionais de ML (como ranqueamento e detecção de fraude) em produção e durante o desenvolvimento.
Texto original
In one case, an Arize monitor fired when latency for a specific agent suddenly spiked several standard deviations above its baseline.
Booking.com · Ler a fonte 
Comet Opik
17 empresas
10 confirmados7 observados
A Zencoder usa o Opik para rastrear e avaliar as saídas de seus agentes de programação baseados em LLMs, depurar comportamentos inesperados dos modelos e comparar prompts e modelos entre experimentos.
Texto original
Opik was built to scale and supports the team's high volume of experimentation, as they are currently running thousands of experiments daily.
Zencoder · Ler a fonte 
Fiddler AI
14 empresas
3 confirmados11 observados
