Che cos'è la finestra di contesto e perché è importante
La finestra di contesto (context window) è la quantità di testo che un'IA riesce a tenere sotto gli occhi in un dato momento. Tutto ciò di cui l'IA deve tenere conto per una risposta deve starci dentro: le tue istruzioni, la conversazione fino a quel punto e gli eventuali documenti. Ciò che non ci sta, semplicemente non viene visto. Per questo le chat lunghe perdono il filo e i file grandi vengono letti solo in parte.
Pensa a una scrivania, non a una memoria
Immagina una scrivania di dimensioni fisse. L'IA può leggere e usare tutto ciò che è sulla scrivania. Quando la scrivania è piena e arriva un nuovo foglio, uno vecchio deve andare via.
È diverso da ciò che l'IA ha imparato quando è stata costruita. Quello le ha dato una conoscenza generale del linguaggio e del mondo. Non comprendeva il tuo listino, i tuoi clienti o le email della settimana scorsa. Qualsiasi cosa sulla tua azienda va messa sulla scrivania ogni volta.
Un'IA non conserva nulla nemmeno tra due domande. Una chat sembra una conversazione continua solo perché l'app rimette sulla scrivania l'intera conversazione a ogni nuovo messaggio.
Quanto è grande una finestra di contesto?
Dipende dal modello di IA, e le dimensioni sono cresciute in fretta. La dimensione si misura in token, i piccoli pezzi di testo in cui un'IA conta. I modelli di oggi possono contenere da un lungo rapporto a diversi libri.
Quattro segnali che la scrivania è piena, e cosa aiuta
| Cosa noti | Perché succede | Cosa aiuta |
|---|---|---|
| Dopo una chat lunga, l'IA dimentica una regola che le avevi dato all'inizio | I primi messaggi sono stati scartati per fare spazio | Apri una nuova chat e ripeti la regola |
| Viene usata solo una parte di un file grande | Il file non ci stava | Invia solo la sezione che conta |
| Le risposte diventano più lente e costano di più | Tutto ciò che è sulla scrivania viene riletto a ogni risposta | Tieni ogni chat su un solo argomento |
| Un dettaglio in mezzo a un testo lungo sfugge | Un fatto si perde in mezzo a molto altro testo | Dai meno testo |
Una finestra più grande è la soluzione?
In parte. Una finestra grande ti permette di consegnare un contratto intero in un colpo solo, il che è utile. Devi comunque scegliere cosa mettere sulla scrivania, per tre ragioni.
- Tutto ciò che è sulla scrivania viene letto ogni volta. Costi e tempi di attesa crescono di conseguenza.
- Più testo non correlato circonda un fatto, più è facile che l'IA lo trascuri o lo confonda con qualcosa di simile.
- Nessuna finestra contiene un'intera azienda. Anni di email, file e record saranno sempre più grandi.
L'obiettivo è mettere sulla scrivania le poche pagine giuste, non il maggior numero di pagine.
Cosa fa per te un buon software di IA
Non dovresti gestire la scrivania a mano. Un buon software di IA fa tre cose.
- Prima cerca. Una ricerca trova i passaggi che corrispondono alla tua domanda, e solo quelli vanno all'IA.
- Riassume. Quando una conversazione si allunga, le parti più vecchie vengono ridotte a un breve riassunto.
- Parte da ciò che hai davanti. L'IA comincia dal cliente o dall'ordine che hai aperto, non da tutto ciò che potrebbe raggiungere.
Quando confronti prodotti di IA, chiedi a ciascuno come gestisce questi tre punti.
Come lo gestisce Worknano
Worknano fa tutte e tre le cose. L'AI Assistant sa già su quale schermata ti trovi, quindi nella pagina CRM parte dalla trattativa che hai davanti. Per trovare qualsiasi altra cosa usa la ricerca semantica, una ricerca che trova il testo in base al suo significato. Legge solo i passaggi che contano invece di documenti interi, compreso il testo dentro file PDF, Word, Excel e PowerPoint. Le conversazioni lunghe vengono accorciate dall'Assistant Memory Summarizer, così l'assistente mantiene il filo. E il pulsante + avvia una nuova chat quando cambia l'argomento.
- Ricerca semantica: trova il tuo lavoro in base al significato
- Assistenti IA: la chat che conosce la pagina in cui ti trovi
- Assistant Memory Summarizer
Crea un workspace gratuito e apri l'assistente su un record per vedere cosa sa già.