Como testar um agente de IA antes de confiar nele
Para testar um agente de IA, dê-lhe casos reais do seu negócio em que já sabe o resultado certo e compare. Um agente de IA é um programa que usa IA para executar tarefas por si, como triar pedidos ou redigir respostas. Como o mesmo pedido pode dar resultados ligeiramente diferentes de cada vez, avalie-o num conjunto inteiro de casos e nunca numa só tentativa.
Porque é que uma tentativa rápida não é um teste
A maioria dos agentes é «testada» escrevendo dois ou três pedidos e lendo as respostas. Parecem boas e o agente começa a trabalhar.
É como contratar um empregado de loja depois de o ver atender um cliente simpático. O verdadeiro teste é o cliente com uma reclamação, o que quer duas coisas ao mesmo tempo e o que tem uma encomenda que não se encontra. Os agentes raramente falham nos casos típicos. Falham no formulário meio preenchido, no e-mail com dois pedidos e no cliente que está duas vezes na sua lista. Um teste a sério contém os casos em que preferia não pensar.
Um plano de teste em cinco passos
- Diga o que significa «certo». Escreva-o. Para um agente que tria pedidos: a categoria certa e a urgência certa. Para uma resposta redigida: factos corretos, tom simpático e nenhuma promessa que a empresa não possa cumprir.
- Reúna casos reais. Tire vinte a trinta dos últimos meses. Misture casos normais com casos difíceis. Acrescente alguns em que a resposta certa é «não consigo fazer isto, uma pessoa tem de ver».
- Escreva primeiro o resultado esperado. Antes de o agente correr, anote para cada caso o que um bom colega teria feito. Se olhar primeiro para a resposta do agente, vai ficar tentado a aceitá-la.
- Corra todos os casos e classifique cada um. Certo, aceitável ou errado. Para cada resultado errado, acrescente uma linha com a razão.
- Mude uma coisa e corra tudo outra vez. A correção de um caso estraga muitas vezes outro. Só o conjunto completo o mostra.
Casos que as pessoas se esquecem de incluir
- Um formulário vazio ou meio preenchido
- Um pedido noutra língua
- Dois pedidos numa só mensagem
- Um pedido que vai contra uma das suas regras
- Um cliente que está duas vezes na sua lista
- Uma mensagem que tenta dar ordens ao agente
O que conta como passar?
Não há um número único. Depende do que acontece ao trabalho do agente. Se uma pessoa lê cada rascunho antes de sair, alguns resultados «aceitáveis» não fazem mal, desde que os errados sejam fáceis de detetar. Se o agente age sem ninguém verificar, precisa de muito mais resultados certos, e os erros que sobrarem têm de ser inofensivos e fáceis de desfazer.
Olhe para o tipo de erro e não só para a contagem. Dez frases desajeitadas importam menos do que um valor errado.
Guarde os casos de teste
A coleção que construiu continua útil. Volte a corrê-la sempre que mudar as instruções do agente. De cada vez que o agente errar no trabalho diário, acrescente esse caso.
Do teste à confiança
Passar o teste não significa liberdade total. Comece com uma pessoa a confirmar cada resultado. Veja com que frequência tem de corrigir. Depois dê mais liberdade ao agente passo a passo. O teste diz-lhe que o agente está pronto para trabalhar sob supervisão. As semanas supervisionadas dizem-lhe quando precisa de menos.
Como o Worknano trata disto
No Worknano edita um agente em Config, em Agents. Aí define as instruções, as ferramentas e o modelo de IA. Para experimentar uma variante, duplique um agente e altere as instruções. Pode executar um agente a partir de um botão num registo, ou sobre uma lista inteira de registos selecionados de uma vez, o que serve para um conjunto de casos de teste reais. As alterações a registos chegam como pré-visualizações para confirmar. O guia do produto dá o mesmo conselho que este artigo: teste em alguns registos reais e ajuste as instruções antes de mudar o modelo.
- Crie o seu próprio agente, com uma lista de verificação para as instruções
- Como editar um agente em Config
- Agentes de IA: onde correm e o que produzem
Crie um workspace gratuito e corra um agente sobre trinta casos seus.