Que sont les tokens en IA ? Une explication simple
Que sont les tokens en IA ? Les tokens sont les petits morceaux de texte qu'une IA lit et écrit. Un token est en général un mot court ou une partie d'un mot long. Les tokens comptent pour une entreprise, car l'usage de l'IA se mesure, se limite et se facture en tokens, un peu comme l'électricité se facture en kilowattheures.
Pourquoi l'IA compte en tokens et non en mots
Une IA ne lit pas des phrases entières comme nous. Avant de commencer, votre texte est découpé en petits morceaux, et chaque morceau est un token. La réponse est produite de la même façon, morceau par morceau.
Les mots courts et fréquents valent un token chacun. Les mots plus longs ou plus rares sont coupés en deux ou trois. Les signes de ponctuation et les chiffres comptent aussi.
Combien de texte fait un token ?
Pour l'anglais, il existe une règle pratique : 100 tokens font environ 75 mots. Une page de texte pleine représente à peu près 500 à 700 tokens.
Cette règle n'est qu'approximative. Les autres langues, dont le français, demandent souvent plus de tokens pour dire la même chose. Les tableaux, les longs nombres et les adresses web en consomment aussi plus que des phrases simples.
La lecture et l'écriture sont comptées toutes les deux
- Les tokens d'entrée sont tout ce que l'IA lit : votre question, tout document que vous transmettez et, dans un chat, toute la conversation jusque-là.
- Les tokens de sortie sont tout ce que l'IA écrit en retour.
Les fournisseurs facturent généralement plus cher la sortie que l'entrée. Une longue réponse met aussi plus de temps à arriver, simplement parce qu'il y a plus de tokens à écrire.
Un exemple chiffré : résumer un contrat
Supposons que vous demandiez à une IA de résumer en 150 mots un contrat fournisseur de 3 000 mots.
| Partie de la demande | Mots | Tokens, environ |
|---|---|---|
| Votre question | 20 | 30 |
| Le contrat | 3 000 | 4 000 |
| Le résumé qu'elle écrit | 150 | 200 |
| Total | environ 4 230 |
Deux choses ressortent. Le contrat représente presque tout le total. Ce que vous envoyez compte bien plus que la façon dont vous formulez la question. Et si vous demandez ensuite « Quelle clause traite du retard de livraison ? » dans le même chat, le contrat est relu. La deuxième question coûte à peu près autant que la première.
Où les tokens sont utilisés sans que vous le remarquiez
- Les longs chats. Chaque nouveau message emporte avec lui tous les précédents.
- Des fichiers entiers pour une petite question. On envoie quarante pages pour trouver une date.
- Une IA qui travaille en plusieurs étapes. Chaque étape relit les résultats des étapes précédentes.
Quatre façons d'utiliser moins de tokens
- Envoyez la partie utile, pas le document entier.
- Ouvrez un nouveau chat quand le sujet change.
- Demandez la longueur dont vous avez besoin. « Trois points » coûte moins qu'une question ouverte.
- N'utilisez pas l'IA pour des étapes qu'une simple règle fixe peut gérer.
Faut-il compter les tokens soi-même ?
Non. Il suffit de savoir ce qui fait monter le compte : la quantité que l'IA doit lire et celle qu'elle doit écrire. Quand vous comparez des produits d'IA, demandez comment ils gardent les deux petites.
Comment Worknano gère cela
Worknano est conçu pour que l'IA lise peu et lise le bon texte. L'AI Assistant et les agents utilisent la recherche sémantique, une recherche qui retrouve le texte par son sens. Au lieu de lire des documents entiers, ils ne lisent que les passages utiles et répondent à partir d'eux. Rendre vos contenus consultables et les rechercher ne consomme pas vos crédits d'IA. Chaque agent a son propre réglage de modèle : les vérifications courtes peuvent donc tourner sur un modèle rapide. L'abonnement lui-même est facturé par entreprise, jamais par utilisateur, donc ajouter des collègues ne change pas la facture.
- Quel modèle d'IA Worknano utilise-t-il ?
- Comment fonctionne la tarification pendant l'accès anticipé
- Recherche sémantique : seulement les passages utiles
Créez un workspace gratuit et posez une question sur vos propres documents.