Czym są tokeny w AI? Proste wyjaśnienie
Czym są tokeny w AI? Tokeny to małe kawałki tekstu, które AI czyta i pisze. Token to zwykle krótkie słowo albo część dłuższego słowa. Tokeny mają znaczenie dla firmy, bo korzystanie z AI jest w nich mierzone, ograniczane i rozliczane, podobnie jak prąd w jednostkach.
Dlaczego AI liczy w tokenach, a nie w słowach
AI nie czyta całych zdań tak jak my. Zanim zacznie, twój tekst jest cięty na małe kawałki, a każdy kawałek to token. Odpowiedź powstaje w ten sam sposób, kawałek po kawałku.
Krótkie, częste słowa to po jednym tokenie. Dłuższe lub rzadsze słowa są cięte na dwa lub trzy. Znaki interpunkcyjne i liczby też się liczą.
Ile tekstu to token?
Dla angielskiego jest przydatna zasada kciuka: 100 tokenów to około 75 słów. Pełna strona tekstu to mniej więcej 500 do 700 tokenów.
Ta zasada jest tylko przybliżona. Inne języki, w tym polski, często potrzebują więcej tokenów na to samo znaczenie. Tabele, długie liczby i adresy internetowe też zużywają więcej niż zwykłe zdania.
Czytanie i pisanie są liczone razem
- Tokeny wejściowe to wszystko, co AI czyta: twoje pytanie, każdy dokument, który przekazujesz, a w czacie cała dotychczasowa rozmowa.
- Tokeny wyjściowe to wszystko, co AI pisze w odpowiedzi.
Dostawcy zwykle liczą więcej za wyjście niż za wejście. Długa odpowiedź także dłużej nadchodzi, po prostu dlatego, że jest więcej tokenów do napisania.
Przykład krok po kroku: streszczenie umowy
Załóżmy, że prosisz AI o streszczenie w 150 słowach umowy z dostawcą liczącej 3000 słów.
| Część prośby | Słowa | Tokeny, w przybliżeniu |
|---|---|---|
| Twoje pytanie | 20 | 30 |
| Umowa | 3000 | 4000 |
| Streszczenie, które pisze | 150 | 200 |
| Razem | około 4230 |
Rzucają się w oczy dwie rzeczy. Umowa stanowi prawie całość. To, co wysyłasz, ma znacznie większe znaczenie niż to, jak sformułujesz pytanie. A jeśli potem zapytasz w tym samym czacie: „Który punkt dotyczy opóźnionej dostawy?", umowa zostanie przeczytana ponownie. Drugie pytanie kosztuje mniej więcej tyle co pierwsze.
Gdzie tokeny znikają, a ty tego nie zauważasz
- Długie czaty. Każda nowa wiadomość niesie ze sobą wszystkie wcześniejsze.
- Całe pliki do małego pytania. Czterdzieści stron wysłanych, by znaleźć jedną datę.
- AI pracujące w kilku krokach. Każdy krok czyta wyniki poprzednich.
Cztery sposoby, by zużywać mniej tokenów
- Wysyłaj fragment, który ma znaczenie, a nie cały dokument.
- Zacznij nowy czat, gdy zmienia się temat.
- Poproś o potrzebną długość. „Trzy punkty" kosztuje mniej niż pytanie otwarte.
- Nie używaj AI do kroków, które załatwi prosta stała reguła.
Czy musisz sam liczyć tokeny?
Nie. Wystarczy wiedzieć, co wpływa na liczbę: ile AI musi przeczytać i ile musi napisać. Gdy porównujesz produkty AI, zapytaj, jak utrzymują jedno i drugie na małym poziomie.
Jak Worknano sobie z tym radzi
Worknano jest zbudowane tak, by AI czytało mało i czytało właściwe rzeczy. AI Assistant i agenci używają wyszukiwania semantycznego, czyli wyszukiwania, które znajduje tekst po jego znaczeniu. Zamiast czytać całe dokumenty, czytają tylko istotne fragmenty i odpowiadają na ich podstawie. Udostępnienie twoich treści do wyszukiwania i ich przeszukiwanie nie zużywa twoich kredytów AI. Każdy agent ma własne ustawienie modelu, więc krótkie sprawdzenia mogą działać na szybkim modelu. Sam plan jest wyceniany za firmę, nigdy za użytkownika, więc dodawanie współpracowników nie zmienia rachunku.