Porque é que os agentes de IA são tão lentos e o que os acelera?
Os agentes de IA são lentos porque não respondem de uma só vez. Um agente de IA é um programa que usa IA para executar uma tarefa por si, e trabalha por rondas: lê, decide, consulta algo e recomeça. Cada ronda leva alguns segundos. A maior parte da espera desaparece quando o agente tem menos para ler e uma tarefa mais clara.
Uma comparação de escritório
Imagine um temporário no primeiro dia. Pergunta-lhe: «Que clientes não contactámos nas últimas duas semanas? Escreva a cada um uma nota curta.» O temporário vai ao arquivo, volta, lê as suas notas desde o início, vai outra vez ao arquivo e assim por diante. Abrir o arquivo é rápido. O que demora é andar, reler e escrever.
Um agente funciona da mesma maneira. Consultar os seus dados é rápido. Ler e escrever é lento, e o agente faz as duas coisas outra vez em cada ronda.
Para onde vai o tempo: um pedido, passo a passo
Tome o mesmo pedido sobre clientes sem contacto. Isto é o que acontece antes de ver uma resposta.
- O agente lê as suas instruções e a sua pergunta.
- Decide consultar os negócios abertos e pede-os ao seu sistema de clientes.
- A lista volta. Costuma ser a parte mais rápida.
- O agente lê a lista e vê que precisa do último contacto de cada negócio. Consulta-os, muitas vezes um a seguir ao outro.
- Lê tudo outra vez: instruções, pergunta e todos os resultados até ali.
- Escreve as notas, palavra a palavra.
Aos seus dados fizeram-se algumas perguntas rápidas. A IA foi chamada quatro ou cinco vezes, e de cada vez tinha mais para ler. É o padrão por trás de quase todos os agentes lentos: muitas rondas e muito texto em cada uma.
Quatro causas comuns
- Uma tarefa vaga. «Encontre o negócio a que me refiro» faz o agente andar à procura. Cada consulta a mais custa uma ronda inteira.
- Demasiado para ler. Documentos inteiros e históricos longos são relidos em cada ronda.
- Uma resposta longa. Escrever é a coisa mais lenta que uma IA faz. Uma página de texto demora muito mais do que um sim ou não com uma linha de razões.
- Uma IA mais forte do que a tarefa pede. Os modelos de IA mais capazes demoram mais a responder. Uma verificação simples raramente precisa de um.
O que acelera um agente
- Diga exatamente por onde começar. «Este negócio» é mais rápido do que «um dos nossos negócios».
- Dê-lhe a passagem, não o ficheiro. Três parágrafos que interessam leem-se mais depressa do que trinta páginas.
- Peça uma resposta curta. Uma categoria, uma data e uma frase escrevem-se depressa.
- Use um modelo de IA rápido para trabalhos simples. Guarde o forte para tarefas com muitos passos.
- Tire os passos fixos ao agente. Tudo o que é sempre igual pertence a uma regra simples, que corre de imediato.
Quando ser lento não importa
A velocidade importa quando uma pessoa está diante de uma conversa à espera. Importa muito menos quando o agente trabalha em segundo plano. Se um novo contacto é triado um minuto depois de chegar, ninguém repara no minuto. Por isso pergunte primeiro quem está à espera. Trabalhos longos, como percorrer uma lista inteira de clientes, podem correr de noite ou arrancar sozinhos quando algo muda. O resultado está lá quando as pessoas precisam dele.
Como o Worknano trata disto
No Worknano, os agentes e o assistente usam a pesquisa semântica, que encontra texto pelo seu sentido. Leem só as passagens que interessam, por isso as respostas chegam mais depressa. Cada agente tem a sua própria definição de modelo: um modelo rápido serve para verificações curtas, um equilibrado serve para tarefas com vários passos. Os agentes também podem correr sozinhos quando um registo muda ou segundo um horário, por isso os trabalhos mais longos não deixam ninguém à espera. O registo de auditoria guarda quanto tempo demorou cada execução de um agente, o que lhe mostra qual melhorar.
- Pesquisa semântica em todo o seu trabalho
- Agentes de IA no Worknano
- Crie o seu próprio agente: modelo, ferramentas e instruções
Crie um workspace gratuito e cronometre um agente sobre os seus próprios registos.