Wat zijn tokens in AI? Eenvoudig uitgelegd
Wat zijn tokens in AI? Tokens zijn de kleine stukjes tekst die een AI leest en schrijft. Een token is meestal een kort woord of een deel van een langer woord. Tokens zijn voor een bedrijf belangrijk omdat AI-gebruik erin wordt gemeten, begrensd en berekend, zoals stroom in eenheden wordt berekend.
Waarom AI in tokens telt en niet in woorden
Een AI leest geen hele zinnen zoals wij. Voordat hij begint, wordt je tekst in kleine stukjes geknipt, en elk stukje is een token. Het antwoord wordt op dezelfde manier opgebouwd, stukje voor stukje.
Korte, veelvoorkomende woorden zijn elk één token. Langere of zeldzamere woorden worden in twee of drie stukken geknipt. Leestekens en cijfers tellen ook mee.
Hoeveel tekst is een token?
Voor Engels is er een handige vuistregel: 100 tokens zijn ongeveer 75 woorden. Een volle pagina tekst is grofweg 500 tot 700 tokens.
De regel is maar een benadering. Andere talen hebben vaak meer tokens nodig voor dezelfde betekenis. Tabellen, lange getallen en webadressen kosten ook meer dan gewone zinnen.
Lezen en schrijven worden allebei geteld
- Invoertokens zijn alles wat de AI leest: je vraag, elk document dat je meestuurt en, in een chat, het hele gesprek tot nu toe.
- Uitvoertokens zijn alles wat de AI terugschrijft.
Aanbieders rekenen meestal meer voor uitvoer dan voor invoer. Een lang antwoord duurt ook langer, simpelweg omdat er meer tokens te schrijven zijn.
Een uitgewerkt voorbeeld: een contract samenvatten
Stel dat je een AI vraagt een leverancierscontract van 3.000 woorden samen te vatten in 150 woorden.
| Onderdeel van het verzoek | Woorden | Tokens, bij benadering |
|---|---|---|
| Je vraag | 20 | 30 |
| Het contract | 3.000 | 4.000 |
| De samenvatting die hij schrijft | 150 | 200 |
| Totaal | ongeveer 4.230 |
Twee dingen vallen op. Het contract vormt bijna het hele totaal. Wat je instuurt, telt veel zwaarder dan hoe je de vraag formuleert. En als je daarna in dezelfde chat vraagt “Welk artikel gaat over te late levering?”, wordt het contract opnieuw gelezen. De tweede vraag kost ongeveer evenveel als de eerste.
Waar tokens worden gebruikt zonder dat je het merkt
- Lange chats. Elk nieuw bericht neemt alle eerdere mee.
- Hele bestanden voor een kleine vraag. Er worden veertig pagina’s verstuurd om één datum te vinden.
- AI die in meerdere stappen werkt. Elke stap leest de resultaten van de stappen ervoor.
Vier manieren om minder tokens te gebruiken
- Stuur het deel dat ertoe doet, niet het hele document.
- Begin een nieuwe chat als het onderwerp verandert.
- Vraag om de lengte die je nodig hebt. “Drie opsommingstekens” kost minder dan een open vraag.
- Gebruik geen AI voor stappen die een simpele vaste regel kan afhandelen.
Moet je zelf tokens tellen?
Nee. Het is genoeg om te weten wat het aantal bepaalt: hoeveel de AI moet lezen en hoeveel hij moet schrijven. Vraag bij het vergelijken van AI-producten hoe ze allebei klein houden.
Zo pakt Worknano dit aan
Worknano is zo gebouwd dat de AI weinig leest en het juiste leest. De AI Assistant en de agents gebruiken semantisch zoeken, een zoekmethode die tekst op betekenis vindt. In plaats van hele documenten te lezen, lezen ze alleen de passages die ertoe doen en antwoorden ze daaruit. Je inhoud doorzoekbaar maken en erin zoeken kost geen AI-credits. Elke agent heeft een eigen modelinstelling, zodat korte controles op een snel model kunnen draaien. Het abonnement zelf wordt per bedrijf berekend, nooit per gebruiker, dus teamgenoten toevoegen verandert de rekening niet.
- Welk AI-model gebruikt Worknano?
- Hoe de prijzen werken tijdens de early access
- Semantisch zoeken: alleen de passages die ertoe doen
Maak een gratis workspace en stel een vraag over je eigen documenten.