Wat is een contextvenster en waarom doet het ertoe?
Een contextvenster is de hoeveelheid tekst die een AI in één keer in beeld kan houden. Alles wat de AI voor een antwoord moet meenemen, moet erin passen: je instructies, het gesprek tot nu toe en eventuele documenten. Wat er niet in past, wordt simpelweg niet gezien. Daarom raken lange chats de draad kwijt en worden grote bestanden maar deels gelezen.
Denk aan een bureau, niet aan een geheugen
Stel je een bureau van vaste grootte voor. De AI kan lezen en gebruiken wat er op het bureau ligt. Is het bureau vol en komt er een nieuw papier bij, dan moet er een oud papier af.
Dit verschilt van wat de AI heeft geleerd toen hij werd gebouwd. Daardoor heeft hij algemene kennis van taal en van de wereld. Je prijslijst, je klanten of de e-mails van vorige week zaten daar niet bij. Alles over jouw bedrijf moet elke keer op het bureau worden gelegd.
Een AI bewaart ook niets tussen twee vragen. Een chat voelt alleen als één doorlopend gesprek omdat de app bij elk nieuw bericht het hele gesprek weer op het bureau legt.
Hoe groot is een contextvenster?
Dat hangt af van het AI-model, en de afmetingen zijn snel gegroeid. De grootte wordt gemeten in tokens, de kleine stukjes tekst waarin een AI telt. De huidige modellen kunnen van een lang rapport tot meerdere boeken bevatten.
Vier tekenen dat het bureau vol is, en wat helpt
| Wat je merkt | Waarom het gebeurt | Wat helpt |
|---|---|---|
| Na een lange chat vergeet de AI een regel die je aan het begin gaf | Vroege berichten zijn weggehaald om ruimte te maken | Begin een nieuwe chat en herhaal de regel |
| Slechts een deel van een groot bestand wordt gebruikt | Het bestand paste niet | Stuur alleen het gedeelte dat ertoe doet |
| Antwoorden worden trager en duurder | Alles op het bureau wordt voor elk antwoord opnieuw gelezen | Houd elke chat bij één onderwerp |
| Een detail midden in een lange tekst wordt gemist | Een feit raakt zoek tussen veel andere tekst | Geef minder tekst |
Is een groter venster het antwoord?
Deels. Met een groot venster kun je een volledig contract in één keer overhandigen, en dat is handig. Toch moet je kiezen wat er op het bureau komt, om drie redenen.
- Alles op het bureau wordt elke keer gelezen. Kosten en wachttijd groeien mee.
- Hoe meer niet-gerelateerde tekst rond een feit staat, hoe makkelijker de AI het over het hoofd ziet of verwart met iets wat erop lijkt.
- Geen enkel venster bevat een heel bedrijf. Jaren aan e-mails, bestanden en gegevens zijn altijd groter.
Het doel is de juiste paar pagina’s op het bureau leggen, niet de meeste pagina’s.
Wat goede AI-software voor je doet
Je hoort het bureau niet met de hand te hoeven beheren. Goede AI-software doet drie dingen.
- Ze zoekt eerst. Een zoekactie vindt de passages die bij je vraag passen, en alleen die gaan naar de AI.
- Ze vat samen. Als een gesprek lang wordt, worden de oudere delen ingekort tot een beknopte samenvatting.
- Ze begint bij wat je voor je hebt. De AI start met de klant of bestelling die je open hebt, niet met alles waar hij bij zou kunnen.
Vraag bij het vergelijken van AI-producten hoe ze met deze drie punten omgaan.
Zo pakt Worknano dit aan
Worknano doet alle drie. De AI Assistant weet al op welk scherm je zit, dus op de CRM-pagina begint hij met de deal die je voor je hebt. Voor al het andere gebruikt hij semantisch zoeken, een zoekmethode die tekst op betekenis vindt. Hij leest alleen de passages die ertoe doen in plaats van hele documenten, ook tekst in PDF-, Word-, Excel- en PowerPoint-bestanden. Lange gesprekken worden ingekort door de Assistant Memory Summarizer, zodat de assistent de draad vasthoudt. En met de +-knop start je een nieuwe chat als het onderwerp verandert.
- Semantisch zoeken: vind je werk op betekenis
- AI assistants: de chat die weet op welke pagina je zit
- Assistant Memory Summarizer
Maak een gratis workspace en open de assistent op een record om te zien wat hij al weet.