Nossa leitura
O caminho tem quatro passos: localizar a trace com defeito, copiá-la com uma resposta esperada correta para um conjunto de dados, reexecutar esse conjunto na versão corrigida e deixar avaliadores online vigiarem a produção. O LangSmith entrega rastreamento, avaliadores e alertas; sua equipe entrega a resposta certa, a escolha dos avaliadores e o limite. As traces básicas ficam 14 dias, então copie a trace para um conjunto de dados já no diagnóstico (dedução editorial).
Partir da resposta errada, não de um ajuste no prompt
Imagine um caso hipotético, dado como exemplo editorial: um agente de suporte informa um prazo de reembolso errado. Um cliente avisa, ou um painel mostra uma nota de feedback baixa. O reflexo é mexer no prompt. O melhor primeiro passo é localizar a execução exata que gerou essa resposta.
No LangSmith, uma trace é uma execução da sua aplicação e pode conter muitas etapas, como chamadas ao modelo e outros eventos registrados. Em agentes de chat, o agrupamento por threads de mensagens permite reler os turnos anteriores. A instrumentação usa os SDKs de Python, TypeScript, Go ou Java, ou OpenTelemetry. O fornecedor afirma que as traces são enviadas de forma assíncrona e não atrasam a aplicação.
Ler a trace antes de culpar o modelo
A trace mostra o que o agente fez passo a passo, com latência, custo e qualidade da resposta. No nosso caso, a pergunta útil é se o prazo errado veio de um documento mal recuperado, de uma ferramenta chamada com parâmetros errados ou do próprio modelo. A correção, e portanto o teste, muda em cada hipótese. O Insights agrupa as traces por tema e modo de falha, o que ajuda a ver se o defeito é isolado ou recorrente.
Se as traces contêm dados de clientes, a hospedagem importa. A nuvem gerenciada armazena os dados em GCP us-central-1. Existem opções BYOC e auto-hospedadas, e o plano Enterprise pode rodar no seu próprio cluster Kubernetes. O fornecedor declara que não treina modelos com os seus dados.
Levar a trace a um conjunto de dados antes que expire
A tabela de preços cita a coleta de conjuntos de dados e uma fila de anotação para feedback humano. As páginas de produto não detalham os passos que transformam uma trace em exemplo; confirme esse ponto na documentação ou em uma demonstração.
A retenção dita o ritmo. As traces básicas ficam 14 dias e as estendidas 180 dias, e uma trace básica pode ser promovida a estendida por um valor adicional. O fornecedor apresenta as estendidas como úteis quando carregam feedback de usuários, avaliadores ou anotadores. Nossa dedução editorial: se a investigação passar de duas semanas, a trace pode já ter sumido. Copie a entrada e a saída com defeito para um conjunto de dados no diagnóstico.
Um passo nenhuma ferramenta faz por você: escrever a resposta esperada. O LangSmith não sabe que o seu prazo de reembolso é de 30 dias. Alguém que conheça a política precisa decidir, e a fila de anotação serve para coletar esse julgamento. O produto Engine, cobrado em LSU, também pode criar conjuntos de dados para revisão humana; a revisão continua sendo humana.
Reexecutar: comparar a versão com defeito e a corrigida
A tabela de preços lista avaliações offline, um Playground e um Prompt Hub. Esta é uma recomendação editorial, não uma capacidade descrita passo a passo pelo fornecedor: rode o conjunto na versão atual e depois na corrigida. O exemplo adicionado deve passar de falha a sucesso, e os demais exemplos não devem piorar.
Um conjunto com um único exemplo prova pouco. Acrescente perguntas vizinhas (outros prazos, outros produtos) e casos que já estavam corretos. Um avaliador em código serve para o que se verifica mecanicamente, como o número exato de dias. Um juiz LLM combina mais com tom e redação, mas é mais um modelo a controlar: compare os veredictos dele com os de um revisor humano em alguns exemplos antes de confiar.
Vigiar na produção o que o conjunto de testes não cobre
Com a correção publicada, o monitoramento assume. O LangSmith oferece avaliadores online, LLM-as-judge ou código, aplicados à produção, além do acompanhamento da trajetória de ferramentas e agentes. Os painéis acompanham tokens, latência P50 e P99, erros, custos e notas de feedback, com alertas por webhook ou PagerDuty quando uma métrica cruza um limite.
O limite é uma decisão da equipe: a partir de que nível de falhas alguém é acionado? Recomendação editorial: antes de contar com isso, teste se a nota de um avaliador online realmente dispara um alerta por webhook ou PagerDuty. Os Tuned Evaluators, em beta público para os planos Plus e Cloud Enterprise nos Estados Unidos, custam 0,015 LSU por avaliação concluída com sucesso.
O que o plano impõe e o que fica com a equipe
O Developer custa US$ 0 com um assento e 5.000 traces básicas por mês. O Plus custa US$ 39 por assento com 10.000 traces básicas, depois pagamento por uso, a 0,005 LSU por trace adicional, com 1 LSU igual a US$ 1. Como uma trace também abrange execuções de avaliadores e do Playground, verifique como suas avaliações online entram no volume. Você pode começar só com rastreamento e acrescentar avaliações depois.
Na página de clientes do fornecedor aparecem Cisco, Toyota, Salesforce, Orange Business e Numan. Os títulos das histórias falam de uma plataforma de observabilidade centralizada, um painel estilo andon para agentes, avaliações de agentes padronizadas, inteligência em tempo real construída sobre LangChain e LangSmith e um coach de saúde construído em torno da avaliação.
Método e limites
2026-10-30
Este instantâneo datado conta empresas distintas com evidências públicas de clientes. CONFIRMED indica um estudo de caso, uma citação nominal ou uma fonte de imprensa; DECLARED, uma declaração da própria empresa; OBSERVED, uma lista de clientes do fornecedor; SIGNAL, um anúncio de vaga. Os quatro níveis contam, com solidez diferente. Linhas removidas ou sem nível ficam de fora. Os exemplos são uma seleção limitada, verificada nos últimos 90 dias. Os dados do fornecedor vêm de fontes verificadas nos últimos 60 dias. A cobertura é desigual, e a ausência de evidências significa que o dado é desconhecido. Estes números não medem participação de mercado nem desempenho; datas de captura não são datas de adoção.
