Os agentes de IA podem correr localmente? Modelos locais para uma pequena empresa
Sim, os agentes de IA podem correr localmente. O modelo de IA por trás de um agente pode correr num computador seu, em vez de numa empresa de IA na internet. O seu texto nunca sai do seu edifício. Se isso compensa a uma pequena empresa depende da sensibilidade dos seus dados e da exigência das tarefas.
O que quer dizer «localmente»
Um agente de IA é uma IA que executa tarefas por si, como resumir um contrato ou triar e-mails recebidos. Quem pensa é um modelo de IA, um programa grande que lê e escreve texto. A maioria das pessoas usa modelos que correm numa empresa de IA. Envia o texto pela internet e a resposta volta.
Um modelo local funciona de outra maneira. Descarrega o modelo e corre-o na sua própria máquina. Alguns modelos são gratuitos para descarregar precisamente para isto. Costumam chamar-se modelos de código aberto.
Porque é que uma empresa o quereria
A razão habitual é a confidencialidade. Um escritório de advogados, uma clínica ou uma empresa com contratos de clientes muito estritos pode não querer que certos documentos saiam de casa. Um modelo local torna isso possível.
Para a maior parte do trabalho do dia a dia, não é necessário. As empresas de IA oferecem contratos que regulam o tratamento dos seus dados, e muitas empresas trabalham bem com eles.
Três formas de correr o modelo
| Numa empresa de IA | Reservado para si | Na sua própria máquina | |
|---|---|---|---|
| Onde corre | Na internet, partilhado com outros clientes | Num centro de dados, só para a sua empresa | No seu escritório |
| Para onde vai o seu texto | Para a empresa de IA | Para a sua área reservada | Para lado nenhum fora de casa |
| O que precisa | Uma conta | Um contrato e alguma configuração | Um computador potente e alguém que cuide dele |
A opção do meio chama-se muitas vezes endpoint privado. É uma escolha comum para empresas que precisam de mais controlo mas não querem gerir máquinas.
O que os modelos locais fazem bem e do que precisam
Os modelos que cabem num computador de empresa normal são mais pequenos do que os maiores da internet. Para muitas tarefas do dia a dia, chega: resumir documentos, triar e etiquetar, tirar uma data ou um valor de um texto, redigir respostas curtas. As tarefas longas e com muitos passos são mais difíceis para eles e convém testá-las primeiro.
O computador também conta. Um modelo pequeno pode correr num portátil recente. Um modelo que sirva uma equipa inteira a uma velocidade confortável precisa de uma máquina potente só para ele.
Quatro perguntas antes de decidir
- Que dados são a preocupação? Se for um só tipo, como os processos de pessoal, só as tarefas que lhes tocam precisam de um modelo local.
- O que é exatamente exigido? Muitas vezes a regra fala da região e do contrato. Um modelo reservado na região certa também pode cumpri-la.
- Quão difíceis são as tarefas? Experimente-as num modelo pequeno antes de comprar o que quer que seja.
- Quem cuida dele? Atualizações e reparações são trabalho contínuo, e alguém tem de o fazer.
Não tem de escolher uma só opção para tudo
Muitas empresas misturam. Um modelo local ou reservado trata das poucas tarefas com material sensível e um modelo de uma empresa de IA trata do resto. Isto funciona quando o seu software lhe permite escolher o modelo de cada agente em separado.
Como o Worknano trata disto
No Worknano, o modelo é uma definição de cada agente. Pode começar com os modelos geridos e não precisa de equipamento de IA próprio. Se a sua empresa o exigir, pode ligar um modelo à sua escolha, incluindo um modelo local, um modelo de código aberto ou o endpoint privado da sua empresa, consoante a sua instalação. Com alojamento regional na UE, nos EUA ou na APAC, os dados do workspace e o processamento de IA ficam nessa região. Uma instância dedicada só para a sua empresa ou uma instalação nos seus próprios servidores está disponível no plano Enterprise.