Qu'est-ce que la fenêtre de contexte d'une IA, et pourquoi est-ce important ?
La fenêtre de contexte est la quantité de texte qu'une IA peut garder sous les yeux en même temps. Tout ce que l'IA doit prendre en compte pour une réponse doit y tenir : vos instructions, la conversation jusque-là et les documents éventuels. Ce qui n'y tient pas n'est tout simplement pas vu. C'est pourquoi les longs chats perdent le fil et les gros fichiers ne sont lus qu'en partie.
Pensez à un bureau, pas à une mémoire
Imaginez un bureau de taille fixe. L'IA peut lire et utiliser tout ce qui se trouve sur le bureau. Quand le bureau est plein et qu'un nouveau papier arrive, un ancien doit partir.
C'est différent de ce que l'IA a appris pendant sa conception. Cela lui a donné une connaissance générale de la langue et du monde. Cela n'incluait ni votre grille de prix, ni vos clients, ni les e-mails de la semaine dernière. Tout ce qui concerne votre entreprise doit être posé sur le bureau à chaque fois.
Une IA ne retient d'ailleurs rien entre deux questions. Un chat donne l'impression d'une conversation continue uniquement parce que l'app remet toute la conversation sur le bureau à chaque nouveau message.
Quelle est la taille d'une fenêtre de contexte ?
Cela dépend du modèle d'IA, et les tailles ont grandi vite. La taille se mesure en tokens, les petits morceaux de texte dans lesquels une IA compte. Les modèles actuels peuvent contenir de tout, d'un long rapport à plusieurs livres.
Quatre signes que le bureau est plein, et ce qui aide
| Ce que vous remarquez | Pourquoi cela arrive | Ce qui aide |
|---|---|---|
| Après un long chat, l'IA oublie une règle donnée au début | Les premiers messages ont été écartés pour faire de la place | Ouvrir un nouveau chat et répéter la règle |
| Seule une partie d'un gros fichier est utilisée | Le fichier n'a pas tenu | N'envoyer que la section utile |
| Les réponses deviennent plus lentes et plus chères | Tout ce qui est sur le bureau est relu pour chaque réponse | Garder chaque chat sur un seul sujet |
| Un détail au milieu d'un long texte est manqué | Un fait se perd au milieu de beaucoup d'autre texte | Donner moins de texte |
Une fenêtre plus grande est-elle la solution ?
En partie. Une grande fenêtre permet de transmettre un contrat entier d'un seul coup, ce qui est utile. Mais il faut quand même choisir ce qui va sur le bureau, pour trois raisons.
- Tout ce qui est sur le bureau est relu à chaque fois. Le coût et le temps d'attente augmentent avec.
- Plus un fait est entouré de texte sans rapport, plus il est facile pour l'IA de le négliger ou de le confondre avec un fait voisin.
- Aucune fenêtre ne contient toute une entreprise. Des années d'e-mails, de fichiers et d'enregistrements seront toujours plus volumineuses.
Le but est de poser sur le bureau les quelques bonnes pages, pas le plus grand nombre de pages.
Ce que fait un bon logiciel d'IA pour vous
Vous ne devriez pas avoir à gérer le bureau à la main. Un bon logiciel d'IA fait trois choses.
- Il cherche d'abord. Une recherche retrouve les passages qui correspondent à votre question, et seuls ceux-là vont à l'IA.
- Il résume. Quand une conversation s'allonge, les parties anciennes sont raccourcies en un bref résumé.
- Il part de ce que vous avez sous les yeux. L'IA commence avec le client ou la commande que vous avez ouverts, pas avec tout ce à quoi elle pourrait accéder.
Quand vous comparez des produits d'IA, demandez comment chacun gère ces trois points.
Comment Worknano gère cela
Worknano fait les trois. L'AI Assistant connaît déjà l'écran sur lequel vous êtes : sur la page CRM, il part donc du deal que vous avez sous les yeux. Pour trouver autre chose, il utilise la recherche sémantique, une recherche qui retrouve le texte par son sens. Il ne lit que les passages utiles au lieu de documents entiers, y compris le texte à l'intérieur des fichiers PDF, Word, Excel et PowerPoint. Les longues conversations sont raccourcies par l'Assistant Memory Summarizer, de sorte que l'assistant garde le fil. Et le bouton + ouvre un nouveau chat quand le sujet change.
- Recherche sémantique : retrouvez votre travail par le sens
- Assistants IA : le chat qui connaît la page sur laquelle vous êtes
- Assistant Memory Summarizer
Créez un workspace gratuit et ouvrez l'assistant sur un enregistrement pour voir ce qu'il sait déjà.