Executando testes no Agent: Resultados, análise e versionamento
Execute Casos de Teste, revise resultados e melhore seu Agente usando avaliações e versionamento.
Este guia mostra como executar testes, revisar resultados e usar avaliações automatizadas e manuais para entender o que está funcionando e o que precisa de melhoria. Você também aprenderá a salvar resultados, identificar padrões com anotações e insights, e comparar diferentes versões do agente usando o mesmo conjunto de dados.
Pré-requisito: Leia Construindo testes para o Agent: Datasets, Casos de Teste e Avaliações para aprender a configurar os testes.
Executando os Testes
Para executar os Casos de Teste em um Dataset:
Selecione o Dataset.
Clique em Executar.
Fluxo de trabalho recomendado:
Crie os Casos de Teste.
Execute-os para revisar as saídas brutas.
Defina Avaliações com base na estrutura esperada.
Execute novamente para validar os resultados de aprovação/reprovação automaticamente.
Após a conclusão da execução, os resultados aparecem na aba Execuções. Clique em uma execução para ver os detalhes.
Interpretando os resultados
Detalhes da saída
No topo da página, você pode imediatamente ver se a execução foi bem sucedida ou se falhou. Você também tem acesso ao horário do dia em que a execução ocorreu, à duração da execução em milissegundos, e ao número de tokens usados, reportado diretamente pelo provedor LLM.
Se o provedor LLM não retornar as informações de uso, o número de tokens não será exibido no resultado da execução.
Para ver informações mais detalhadas sobre a execução, expanda as seguintes seções no componente:
Logs de execução
Cada execução inclui logs que mostram como o componente se comportou:
Configuração: Configurações de provedor e modelo.
Entrada: Contexto, configuração de ferramentas e status de recuperação.
Sistema: A Mensagem de Sistema enviada ao modelo.
Usuário: A Mensagem de Usuário enviada ao modelo.
Ferramentas: Chamadas de ferramentas, argumentos e resultados.
Guardrail de entrada/saída: Guardrails aplicados e seu impacto.
Use esses logs para validar o comportamento e solucionar problemas.
Output
O resultado final é retornado em formato JSON. Você pode inspecionar e consultar campos usando JSONPath.
Logs de Avaliação
Mostra os resultados das Avaliações para cada Caso de Teste, incluindo o status de aprovação/reprovação e detalhes de configuração.
Avaliação manual
A avaliação manual permite que especialistas de domínio e desenvolvedores avaliem a qualidade da execução além das verificações automatizadas. Ela captura observações qualitativas como raciocínio ambíguo, casos extremos e problemas de design de prompt. Inclui três ferramentas: classificações, anotações e insights.
Classificações (Ratings)
Cada execução pode ser marcada como positiva () ou negativa (). Foque na qualidade da saída ao classificar. Uma execução bem-sucedida ainda pode receber uma classificação negativa se a saída estiver incorreta, incompleta ou não for útil.
Após classificar, uma coluna manual-evaluation é adicionada à aba Execuções. Ela reflete suas classificações e calcula uma taxa de sucesso para o Dataset.
Exemplo
Se um Dataset tiver três Casos de Teste:
Dois recebem classificação positiva
Um recebe classificação negativa
O resultado é uma taxa de sucesso manual de 67%. Isso é combinado com as pontuações automatizadas na coluna Total.
Anotações
As anotações permitem registrar descobertas diretamente em:
Ferramentas (Tools)
Mensagem de Sistema
Mensagem de Usuário
Guardrails
Para adicionar uma anotação, abra uma execução e clique em Adicionar Anotação abaixo da seção relevante.
Foque em explicar por que algo funcionou ou falhou. Notas claras e específicas se tornam mais valiosas com o tempo.
Uma única anotação reflete uma execução. Múltiplas anotações revelam padrões, como problemas recorrentes ou interpretações equivocadas. Esses padrões tornam os Insights mais úteis.
Exemplos
Ferramentas (Tools)
A ferramenta retornou dados irrelevantes porque o índice está desatualizado. A fonte precisa ser atualizada.
Mensagem de Sistema
A regra rejeitou uma saída válida porque "DD/MM/AAAA" não foi reconhecido como equivalente a "máscara derivada de ISO-8601 com dia primeiro". O prompt precisa aceitar reformulações técnicas que preservem o significado original.
Mensagem de Usuário
A entrada está clara. O problema vem da Mensagem de Sistema, não dessa parte.
Insights
Após adicionar várias anotações, vá para a aba Insights de anotações e clique em Gerar Insights.
O Insight agrupa padrões entre as anotações e destaca:
O que está funcionando
O que precisa de atenção
Principais problemas
Correções recomendadas
Isso reduz a necessidade de revisar cada execução individualmente.
Para melhores resultados, anote pelo menos 5 a 10 Casos de Teste. Mais variedade resulta em insights mais confiáveis.
Salvando os resultados
Todas as execuções são armazenadas na aba Execuções com as seguintes regras de retenção:
Salvo automaticamente: Execuções são armazenadas por 5 dias.
Armazenamento permanente: Selecione as execuções e clique em Salvar para mantê-las permanentemente. O pipeline deve ser salvo antes que as execuções possam ser armazenadas de forma permanente.
Versionamento e iteração
O versionamento ajuda a testar mudanças de forma controlada. Quando usado com Datasets e Avaliações, ele fornece uma configuração consistente onde você pode medir o impacto das mudanças em vez de depender de suposições.
Você pode reutilizar o mesmo Dataset em diferentes versões do Agente. Isso mantém as condições de teste iguais enquanto apenas a configuração muda. Por exemplo:
v1 → Modelo: gpt-4o
v2 → Modelo: gpt-5
v3 → Mensagem de Sistema atualizada
Abordagem recomendada
Comece de forma simples: Trabalhe em um único prompt sem criar versões inicialmente. Foque em corrigir problemas melhorando instruções, estrutura ou restrições.
Crie uma linha de base: Quando precisar comparar resultados, salve a configuração atual como uma versão. Use-a como seu ponto de referência principal.
Teste alternativas: Experimente diferentes configurações. Salve novas versões somente quando realmente precisar compará-las.
Mantenha os testes consistentes: Use o mesmo Dataset entre versões para que os resultados sejam comparáveis.
Promova melhorias: Se uma versão tiver desempenho melhor que sua linha de base, torne-a sua nova versão principal.
Use a mesma abordagem ao atualizar Datasets ou regras de avaliação: defina uma linha de base estável, teste nas mesmas condições e promova mudanças somente após validá-las.
Próximos Passos
Agora que você entende tanto o modelo conceitual quanto o processo de implementação, aprenda a construir seu primeiro fluxo de trabalho de testes de IA usando Datasets, Avaliações e Versionamento.
Atualizado
Isto foi útil?