Modos de falha de agentes de IA e como detetar cada um
Os modos de falha de agentes de IA são as formas típicas de um agente de IA errar uma tarefa. Um agente de IA é um programa que usa IA para executar tarefas por si. Pode procurar no sítio errado, usar os dados errados, parar a meio ou andar às voltas. São poucos erros e cada um pode ser detetado com uma verificação simples.
Porque é que os agentes falham em silêncio
O software normal falha com estrondo. Mostra uma mensagem de erro e pára. Um agente tende a falhar com boas maneiras. Diz-lhe numa frase confiante que o trabalho está feito, quando parte dele falta ou está errada.
É como um estagiário zeloso que diz «tudo feito» depois de arquivar quarenta de duzentas cartas. Não vai descobrir esperando por uma reclamação. Descobre olhando para o resultado.
Seis modos de falha de relance
| Modo de falha | O que vê | Como o detetar |
|---|---|---|
| Sítio errado | Pesquisa contactos quando perguntou por faturas | Dê ao agente só as ferramentas de que precisa |
| Dados errados | O tipo de registo certo, mas o cliente, a data ou o valor errados | Peça-lhe que mostre os valores antes de os guardar |
| Andar às voltas | Repete o mesmo passo e nunca acaba | Defina um limite de passos e de tempo |
| Parar cedo | «Feito», depois de três de dez itens | Conte o que entrou e o que saiu |
| Falha escondida | Uma consulta falhou e o agente seguiu sem ela | Uma consulta falhada tem de parar o trabalho |
| Factos inventados | Um pormenor credível sem fonte | Peça a fonte de cada facto |
Os factos inventados chamam-se muitas vezes alucinações. Têm um artigo próprio.
Os dois que melhor se escondem
Parar cedo e a falha escondida merecem atenção extra, porque nos dois casos a resposta parece completa. Um resumo de «todos os pedidos em aberto» lê-se igualmente bem quando cobre quarenta de duzentos.
A cura é aborrecida e funciona. Sempre que um agente percorre uma lista, anote o número de itens no início e compare-o no fim. E garanta que o agente lhe diz com clareza quando não conseguiu consultar algo. «Não encontrei nada» e «não consegui consultar» nunca podem soar igual.
Do sintoma à causa
Quando um trabalho corre mal, a resposta final diz-lhe pouco. Três passos levam à causa.
- Olhe para os passos, não só para a resposta. O que consultou o agente, por que ordem, e o que voltou?
- Dê nome ao modo de falha. Encontre a sua linha na tabela. Se duas linhas servirem, o trabalho é provavelmente grande demais para um só agente.
- Corrija o tipo de erro, não o caso isolado. Se o agente procurou no sítio errado, retire-lhe as ferramentas de que não precisa. Acrescentar mais uma frase às instruções depois de cada incidente torna-as compridas e não as torna mais seguras.
Que falhas importam mais
Uma falha que acaba numa frase errada num ecrã custa um momento. Uma falha que acaba num registo de cliente alterado, num e-mail enviado ou num pagamento custa mais. Por isso ordene os seus agentes pelo que o trabalho deles toca. Ponha as verificações mais estritas onde um erro iria parar aos seus dados ou chegaria a um cliente. Nos outros sítios, basta uma vista de olhos.
Como o Worknano trata disto
No Worknano, o registo de auditoria guarda cada execução de um agente: o que entrou, o que saiu, que modelo de IA foi usado e quanto tempo demorou. Assim, uma execução que correu mal pode ser lida depois. A forma da resposta de um agente é definida de antemão. Quando um agente quer alterar um registo, mostra uma pré-visualização e você confirma. Quando a decisão cabe a um gestor ou às finanças, o módulo Approvals passa-a por uma cadeia fixa de pessoas, com prazos e escalonamento.
- Agentes de IA: entradas, saídas e o registo de auditoria
- Approvals: aprovações ordenadas com histórico
- Demonstração: uma alteração proposta, confirmada antes de ser guardada
Crie um workspace gratuito e leia a primeira execução do seu agente passo a passo.