Czym jest okno kontekstowe i dlaczego ma znaczenie?
Okno kontekstowe to ilość tekstu, którą AI może mieć przed oczami naraz. Wszystko, co AI ma wziąć pod uwagę przy odpowiedzi, musi się w nim zmieścić: twoje instrukcje, dotychczasowa rozmowa i dokumenty. Czego nie ma w oknie, tego po prostu nie widzi. Dlatego długie czaty gubią wątek, a duże pliki są czytane tylko częściowo.
Myśl o biurku, nie o pamięci
Wyobraź sobie biurko o stałym rozmiarze. AI może czytać i wykorzystywać wszystko, co na nim leży. Gdy biurko jest pełne, a przychodzi nowy papier, jakiś stary musi zejść.
To coś innego niż to, czego AI nauczyło się, gdy je budowano. Dało mu to ogólną wiedzę o języku i świecie. Nie obejmowało twojego cennika, twoich klientów ani maili z zeszłego tygodnia. Wszystko o twojej firmie trzeba za każdym razem położyć na biurku.
AI nie zachowuje też niczego między dwoma pytaniami. Czat wydaje się jedną ciągłą rozmową tylko dlatego, że aplikacja przy każdej nowej wiadomości kładzie całą rozmowę z powrotem na biurku.
Jak duże jest okno kontekstowe?
To zależy od modelu AI, a rozmiary szybko rosły. Rozmiar mierzy się w tokenach, czyli małych kawałkach tekstu, w których liczy AI. Dzisiejsze modele mogą pomieścić wszystko od długiego raportu po kilka książek.
Cztery znaki, że biurko jest pełne, i co pomaga
| Co zauważasz | Dlaczego tak się dzieje | Co pomaga |
|---|---|---|
| Po długim czacie AI zapomina zasadę, którą podałeś na początku | Wczesne wiadomości zostały odrzucone, by zrobić miejsce | Zacznij nowy czat i powtórz zasadę |
| Używana jest tylko część dużego pliku | Plik się nie zmieścił | Wyślij tylko fragment, który ma znaczenie |
| Odpowiedzi są wolniejsze i droższe | Wszystko na biurku jest czytane od nowa przy każdej odpowiedzi | Trzymaj każdy czat przy jednym temacie |
| Szczegół ze środka długiego tekstu zostaje pominięty | Fakt ginie wśród mnóstwa innego tekstu | Podaj mniej tekstu |
Czy większe okno jest odpowiedzią?
Częściowo. Duże okno pozwala przekazać całą umowę za jednym razem, co jest przydatne. Nadal jednak musisz wybierać, co kładziesz na biurku, z trzech powodów.
- Wszystko na biurku jest czytane za każdym razem. Rosną z tym koszt i czas oczekiwania.
- Im więcej niezwiązanego tekstu otacza fakt, tym łatwiej AI go przeoczyć albo pomylić z czymś podobnym.
- Żadne okno nie pomieści całej firmy. Lata maili, plików i rekordów zawsze będą większe.
Chodzi o to, by położyć na biurku właściwe kilka stron, a nie jak najwięcej stron.
Co dobre oprogramowanie AI robi za ciebie
Nie powinieneś musieć zarządzać biurkiem ręcznie. Dobre oprogramowanie AI robi trzy rzeczy.
- Najpierw szuka. Wyszukiwanie znajduje fragmenty pasujące do twojego pytania i tylko one trafiają do AI.
- Streszcza. Gdy rozmowa robi się długa, starsze części są skracane do krótkiego streszczenia.
- Zaczyna od tego, co masz przed sobą. AI zaczyna od klienta lub zamówienia, które masz otwarte, a nie od wszystkiego, do czego mogłoby sięgnąć.
Gdy porównujesz produkty AI, zapytaj, jak każdy z nich radzi sobie z tymi trzema punktami.
Jak Worknano sobie z tym radzi
Worknano robi wszystkie trzy. AI Assistant już wie, na którym ekranie jesteś, więc na stronie CRM zaczyna od dealu, który masz przed sobą. Żeby znaleźć cokolwiek innego, używa wyszukiwania semantycznego, czyli wyszukiwania, które znajduje tekst po jego znaczeniu. Czyta tylko istotne fragmenty zamiast całych dokumentów, w tym tekst wewnątrz plików PDF, Word, Excel i PowerPoint. Długie rozmowy są skracane przez Assistant Memory Summarizer, więc asystent trzyma wątek. A przycisk + zaczyna nowy czat, gdy zmienia się temat.
- Wyszukiwanie semantyczne: znajdź swoją pracę po znaczeniu
- AI assistants: czat, który zna stronę, na której jesteś
- Assistant Memory Summarizer
Załóż darmowy workspace i otwórz asystenta na rekordzie, żeby zobaczyć, co już wie.