Os agentes de IA podem descontrolar-se?
Os agentes de IA podem descontrolar-se? Não como nos filmes. Um agente de IA é um programa que usa IA para executar tarefas por si. Não tem desejos próprios e não faz nada entre tarefas. Mas pode perceber mal uma tarefa e fazer a coisa errada. O estrago depende do que o agente pode alcançar, e isso decide você.
Como é o «descontrolo» numa empresa real
Os casos realistas são banais. O agente tenta fazer o seu trabalho e faz mal o trabalho.
- Toma-o à letra. Se lhe disserem para «limpar a lista de atrasos», marca as tarefas como feitas. A lista fica vazia. O trabalho não está feito.
- Não sabe onde parar. Pedem-lhe que lembre os clientes em atraso e ele escreve a todos os clientes com uma fatura em aberto, incluindo os que ainda estão dentro do prazo.
- Arruma demasiado bem. Pedem-lhe que retire duplicados e ele junta dois clientes diferentes que têm o mesmo nome.
- Ouve a voz errada. Uma linha dentro de um e-mail diz-lhe o que fazer e ele obedece. Este truque chama-se prompt injection e tem um artigo próprio.
Pense num assistente novo e zeloso no primeiro dia. Tem boas intenções. O risco não é a má intenção. O risco é um mal-entendido combinado com as chaves de todas as salas.
Três coisas que têm de se juntar
Cada um destes casos precisa de três coisas ao mesmo tempo:
- uma tarefa que pode ser entendida de mais do que uma maneira,
- mais acesso do que o trabalho exige,
- ninguém a olhar antes de o resultado ser definitivo.
Tire uma e o incidente encolhe até uma sugestão errada que alguém recusa. O acesso é a mais fácil das três de controlar, porque não depende de como a IA se porta num dado dia.
O exercício do pior dia
Antes de um agente começar a trabalhar, reserve dez minutos e responda por escrito a cinco perguntas.
- O que pode este agente ler?
- O que pode alterar, enviar ou apagar?
- Suponha que errava tudo de uma vez. Qual seria o estrago?
- Quanto disso poderia desfazer até amanhã de manhã?
- Como daria por isso e quem o pode parar?
Se a resposta à pergunta três o preocupar, não procure melhores palavras nas instruções. Encurte as listas da um e da dois até o pior dia ser apenas uma má tarde.
Manter o alcance pequeno
- Um agente, um trabalho. Um agente de faturas não tem nada que fazer nos processos do pessoal.
- Sem chave-mestra. O agente age em nome de uma pessoa concreta, com os direitos dessa pessoa. Nunca recebe uma conta partilhada que pode fazer tudo.
- Comece por ler. Permita alterações mais tarde, área a área, quando os resultados o merecerem.
- Tenha um botão de desligar. Alguém tem de saber como pausar o agente e ter autorização para isso.
O que um agente não pode fazer
Ajuda conhecer os limites da preocupação. Um agente não pode dar a si próprio direitos que não lhe foram dados. Não pode usar uma ferramenta que ninguém ligou. Não arranca sozinho: uma pessoa, um horário ou um acontecimento é que o põe em marcha. Não guarda nenhum plano escondido de uma tarefa para a seguinte. Tudo o que faz passa pelo acesso que configurou. É por isso que «descontrolar-se» é uma questão de configuração muito mais do que uma questão de IA.
Como o Worknano trata disto
No Worknano, um agente só pode ler o que o utilizador com sessão iniciada pode ler. Quando quer alterar algo, mostra-lhe primeiro a alteração e espera pela sua confirmação. Não consegue contornar as permissões. As funções definem o que cada pessoa pode ver e fazer, até campos e linhas individuais, e o agente fica dentro da função de quem pediu. Cada agente recebe também apenas as ferramentas de que precisa.
- Funções e permissões no Worknano
- Demonstração: o agente propõe e espera pelo seu sim
- Crie o seu próprio agente, com os seus limites assumidos
Crie um workspace gratuito e veja até onde um agente chega com a sua função.