O que é uma janela de contexto e porque importa?
Uma janela de contexto é a quantidade de texto que uma IA consegue ter à vista de uma só vez. Tudo o que a IA deve ter em conta numa resposta tem de caber lá dentro: as suas instruções, a conversa até ao momento e quaisquer documentos. O que não cabe, simplesmente não é visto. É por isso que os chats longos perdem o fio e os ficheiros grandes só são lidos em parte.
Pense numa secretária, não numa memória
Imagine uma secretária de tamanho fixo. A IA pode ler e usar tudo o que estiver em cima da secretária. Quando a secretária está cheia e chega um papel novo, um antigo tem de sair.
Isto é diferente do que a IA aprendeu quando foi construída. Isso deu-lhe conhecimento geral da língua e do mundo. Não incluiu a sua tabela de preços, os seus clientes nem os e-mails da semana passada. Tudo o que diz respeito à sua empresa tem de ser posto na secretária de cada vez.
Uma IA também não guarda nada entre duas perguntas. Um chat parece uma conversa contínua só porque a app volta a pôr a conversa inteira na secretária a cada mensagem nova.
Que tamanho tem uma janela de contexto?
Depende do modelo de IA, e os tamanhos têm crescido depressa. O tamanho mede-se em tokens, os pequenos pedaços de texto em que uma IA conta. Os modelos de hoje conseguem guardar desde um relatório longo até vários livros.
Quatro sinais de que a secretária está cheia, e o que ajuda
| O que nota | Porque acontece | O que ajuda |
|---|---|---|
| Depois de um chat longo, a IA esquece uma regra dada no início | As mensagens iniciais foram descartadas para dar espaço | Comece um chat novo e repita a regra |
| Só uma parte de um ficheiro grande é usada | O ficheiro não coube | Envie só a secção que importa |
| As respostas ficam mais lentas e mais caras | Tudo o que está na secretária é lido outra vez a cada resposta | Mantenha cada chat num só assunto |
| Escapa um pormenor no meio de um texto longo | Um facto perde-se no meio de muito outro texto | Dê menos texto |
Uma janela maior é a resposta?
Em parte. Uma janela grande permite entregar um contrato completo de uma só vez, o que é útil. Mesmo assim, tem de escolher o que vai para a secretária, por três razões.
- Tudo o que está na secretária é lido de cada vez. O custo e o tempo de espera crescem com isso.
- Quanto mais texto sem relação rodeia um facto, mais fácil é a IA não o ver ou confundi-lo com algo parecido.
- Nenhuma janela guarda uma empresa inteira. Anos de e-mails, ficheiros e registos serão sempre maiores.
O objetivo é pôr na secretária as poucas páginas certas, não o maior número de páginas.
O que um bom software de IA faz por si
Não deve ter de gerir a secretária à mão. Um bom software de IA faz três coisas.
- Pesquisa primeiro. Uma pesquisa encontra as passagens que correspondem à sua pergunta, e só essas vão para a IA.
- Resume. Quando uma conversa fica longa, as partes mais antigas são reduzidas a um resumo breve.
- Começa pelo que tem à frente. A IA parte do cliente ou da encomenda que tem aberta, não de tudo a que poderia chegar.
Quando comparar produtos de IA, pergunte como cada um trata destes três pontos.
Como o Worknano trata disto
O Worknano faz as três coisas. O AI Assistant já sabe em que ecrã está, por isso na página de CRM parte do negócio que tem à frente. Para encontrar tudo o resto usa a pesquisa semântica, uma pesquisa que encontra texto pelo seu sentido. Lê apenas as passagens que importam em vez de documentos inteiros, incluindo o texto dentro de ficheiros PDF, Word, Excel e PowerPoint. As conversas longas são encurtadas pelo Assistant Memory Summarizer, por isso o assistente mantém o fio. E o botão + inicia um chat novo quando o assunto muda.
- Pesquisa semântica: encontre o seu trabalho pelo sentido
- Assistentes de IA: o chat que conhece a página em que está
- Assistant Memory Summarizer
Crie um workspace gratuito e abra o assistente num registo para ver o que ele já sabe.