Nossa leitura
No Braintrust, rode o prompt antigo e o novo sobre o mesmo conjunto de dados feito de traces reais, com pontuações por código para regras rígidas e um juiz LLM para o sentido, e leia você mesmo as falhas. Os exemplos publicados por Box e Coursera mostram pontuações automáticas que deixam passar crédito parcial e respostas vagas: a pontuação é um filtro, não a decisão de ir para produção.
Por que um prompt alterado precisa de teste, não de uma olhada
Uma mudança de prompt que corrige o erro à sua frente pode quebrar outra coisa sem aviso. A Dropbox descreve isso em seu estudo de caso: conforme mais engenheiros passaram a trabalhar no assistente Dash, cada um editava o prompt após um relato de erro, cada correção causava um problema em outro lugar e as planilhas deixaram de bastar.
O Braintrust apresenta suas avaliações como a resposta: rodar experimentos com conjuntos de dados reais, comparar prompts e modelos lado a lado e pontuar as saídas com LLMs, código ou pessoas. O roteiro abaixo segue esse formato. É uma sequência editorial construída com a descrição do fornecedor e três histórias de clientes publicadas, não um procedimento prescrito pelo Braintrust; os resultados citados vêm dos próprios fornecedores ou clientes.
Passo 1: montar o conjunto de teste a partir de traces reais
O Braintrust afirma que traces de produção podem virar conjuntos de dados de avaliação com um clique, de modo que os testes de regressão nasçam de falhas reais e não de exemplos inventados. A Coursera mostra uma curadoria cuidadosa: a equipe revisa transcrições anonimizadas do chatbot e tarefas corrigidas por pessoas, dá atenção às conversas com polegar para cima ou para baixo e acrescenta casos sintéticos gerados por LLM para os extremos.
Conselho editorial: inclua os casos que o novo prompt deve corrigir e também uma amostra de casos comuns que o anterior já resolvia. Um conjunto só de falhas não consegue mostrar que algo piorou. A retenção importa: a página de preços informa 14 dias incluídos no Starter e 30 no Pro; copie os traces de que precisa para um conjunto de dados antes que expirem.
Passo 2: rodar as duas versões nas mesmas entradas
Rode o prompt atual e o candidato sobre o mesmo conjunto de dados, com os mesmos avaliadores, mudando apenas o prompt. A Box aplica essa lógica em maior escala: um conjunto fixo como referência, experimentos paralelos com vários modelos, comparados em precisão, latência, custo, uso de tokens e uso de ferramentas. A equipe também roda avaliações programaticamente toda noite e, de manhã, vê o que piorou ou melhorou.
A Dropbox divide o trabalho em dois níveis: 150 testes direcionados antes de um pull request ser incorporado e, depois, uma suíte com mais de 10.000 testes. Para o seu pipeline, a lista de integrações inclui Pytest, OpenTelemetry, LangChain e o OpenAI Agents SDK, o que sugere que a execução pode ficar em código que você já tem. Como uma versão de prompt é armazenada e promovida não está detalhado nas páginas consultadas: experimente no plano gratuito antes de depender disso.
Passo 3: escolher pontuações e conhecer seus pontos cegos
Pontuações por código são determinísticas, mas só verificam o que você escreveu. A Box avalia citações com código puro: arquivo esperado contra arquivo citado. A Coursera usa verificações heurísticas de formato e estrutura. Nenhuma diz se a resposta é útil.
Modelos juízes cobrem o sentido, com fraquezas próprias. A Box entrega cada item da rubrica separadamente a um juiz, mas uma regra de tudo ou nada marcou como falha uma resposta bem explicada com quatro de cinco fatos esperados. A Dropbox viu que ROUGE, BLEU e similaridade de cosseno não captavam citações, fundamentação nas fontes e tom, e passou a juízes LLM que começaram amplos e ficaram mais específicos. A Box também alerta contra pedir que um LLM escreva o conjunto de teste e depois o julgue: ele pode marcar 100% sem ensinar nada.
Passo 4: ler as falhas você mesmo
A Box descobriu o problema do crédito parcial percorrendo as falhas pergunta a pergunta e abrindo os logs de trace. Na Coursera, o protótipo de correção parecia bom com envios válidos até a equipe notar que respostas vagas ainda recebiam nota alta; então acrescentou casos de teste negativos. Nas duas histórias, a leitura de exemplos por uma pessoa revelou o que o número agregado escondia.
Os limites dos planos afetam esta etapa. As pontuações de revisão humana são limitadas a uma por projeto no Starter e ilimitadas no Pro, que custa 249 dólares por mês; as pontuações incluídas são 10.000 no Starter e 50.000 no Pro. O Braintrust também descreve visualizações de trace específicas por tarefa para montar interfaces de anotação sem desenvolvimento de frontend, úteis se seus revisores precisam de um layout adequado ao seu conteúdo.
Passo 5: decidir e saber o que a pontuação não prova
Um limite é decisão da equipe, não propriedade da ferramenta. A Box condicionou o lançamento interno a superar 80% em cerca de oitenta perguntas e depois ampliou para um conjunto de referência de 330 para a disponibilidade geral. As primeiras pontuações ficaram perto de sessenta por cento, o que era aceitável porque as falhas eram legíveis e podiam ser agrupadas por etiqueta.
Uma boa pontuação offline cobre apenas as perguntas que você escreveu. A Box acompanha a produção: se respostas negativas se concentram em algum ponto, verifica se o conjunto de teste mostra a mesma queda sob aquela etiqueta; se não mostra, há uma lacuna. A Dropbox aplica a mesma rubrica a consultas de produção amostradas com um juiz online. São práticas relatadas pelos fornecedores, não medições independentes, e envolvem empresas diferentes com métricas diferentes: não as leia como comparação. Publique quando a comparação, a leitura humana e o acompanhamento em produção concordarem.
Método e limites
2026-11-01
Este instantâneo datado conta empresas distintas com evidências públicas de clientes. CONFIRMED indica um estudo de caso, uma citação nominal ou uma fonte de imprensa; DECLARED, uma declaração da própria empresa; OBSERVED, uma lista de clientes do fornecedor; SIGNAL, um anúncio de vaga. Os quatro níveis contam, com solidez diferente. Linhas removidas ou sem nível ficam de fora. Os exemplos são uma seleção limitada, verificada nos últimos 90 dias. Os dados do fornecedor vêm de fontes verificadas nos últimos 60 dias. A cobertura é desigual, e a ausência de evidências significa que o dado é desconhecido. Estes números não medem participação de mercado nem desempenho; datas de captura não são datas de adoção.
