O registo de auditoria de um agente de IA: saber o que o seu agente fez
O registo de auditoria de um agente de IA é um livro de registo do que o agente fez: o que lhe pediram, o que leu, o que alterou, para quem e quando. Um agente de IA é um programa que usa IA para executar tarefas por si. O registo permite-lhe explicar um resultado, desfazer um erro e mostrar que o agente ficou dentro dos seus limites.
Porque é que uma pequena empresa precisa de um
Pense no rolo de papel da caixa registadora de uma loja. Num dia normal, ninguém o lê. No dia em que a caixa não bate certo, é a única coisa que lhe diz o que aconteceu.
Um agente que atualiza registos de clientes ou redige e-mails precisa do mesmo tipo de registo. Um dia alguém vai perguntar: «Porque é que este cliente tem um preço diferente?» Sem registo, a resposta honesta é «a IA fez qualquer coisa». Com registo, pode apontar o momento exato, o pedido e a alteração.
O que contém uma entrada útil
| O que fica registado | Porque é que precisa disso |
|---|---|
| Data e hora | Para cruzar com o que mais aconteceu nesse dia |
| Quem ou o que iniciou o agente | Uma pessoa, um horário ou um acontecimento |
| O que lhe foi pedido e o que leu | Para ver em que baseou o seu trabalho |
| O que respondeu ou propôs | A resposta, o rascunho ou os novos valores |
| Valores antes e depois de uma alteração | Para que uma alteração errada possa ser desfeita com exatidão |
| Quem confirmou | Onde uma pessoa disse sim, o seu nome e a hora |
Não vai precisar de todas as linhas todos os dias. Vai precisar de cada uma delas no dia em que algo parecer errado.
Três perguntas a que o registo tem de responder
- «Porque é que este registo diz isto?» A partir de um registo de cliente ou de projeto, deve conseguir chegar à execução do agente que o escreveu.
- «O que mais alterou essa execução?» Uma má execução raramente faz uma só má alteração. Precisa da lista completa para limpar.
- «Já aconteceu antes?» Deve conseguir ver se um erro é pontual ou um hábito.
Mais um ponto: o registo tem de ser legível por si, não só por um programador. E as pessoas e os agentes que descreve não podem poder editá-lo.
Uma revisão semanal de quinze minutos
Um registo que ninguém lê não protege ninguém. Uma rotina curta chega a uma pequena empresa.
- Leia cinco execuções de cada agente do princípio ao fim.
- Leia todas as rejeições. Quando uma pessoa disse não ao que o agente propôs, algo estava errado. São as lições mais baratas que vai ter.
- Olhe para as invulgares: as execuções que demoraram mais e as que acabaram sem resultado.
- Escreva uma alteração às instruções ou aos limites do agente, ou anote que não foi preciso nenhuma.
Passadas umas semanas, as suas notas mostram que agentes podem ganhar mais liberdade e quais precisam de um trabalho mais apertado.
Quem pode lê-lo e durante quanto tempo guardá-lo
O registo contém o que o agente leu, e isso pode incluir informação pessoal ou confidencial. Trate-o como a própria informação: quem não pode ver salários também não os deve ver num livro de registo. Durante quanto tempo deve guardar as entradas depende do seu setor. Decida um prazo de propósito e pergunte ao seu consultor pelas obrigações legais.
O que o registo não faz
Não evita um erro. Encurta o tempo entre um erro e a sua correção. Evitar erros é trabalho dos limites e das aprovações. O registo garante que qualquer discussão posterior é sobre factos.
Como o Worknano trata disto
No Worknano, o registo de auditoria guarda cada execução de um agente: o que entrou, o que saiu, que modelo de IA foi usado e quanto tempo demorou. No módulo Approvals, cada aprovação, rejeição e alteração pedida fica registada com o utilizador e uma marca temporal permanente. Esse histórico pode ser exportado em PDF para revisões e auditorias. Alterações de funções, novas permissões, atualizações sensíveis e exportações também ficam registadas, com quem fez o quê e quando.
- Approvals e o seu registo de auditoria
- Segurança: acesso, identidade e registo de auditoria
- Agentes de IA: cada invocação fica registada
Crie um workspace gratuito e veja o que um agente fez, execução a execução.