Что такое токены в AI? Простыми словами
Что такое токены в AI? Токены это небольшие кусочки текста, которые AI читает и пишет. Токен обычно это короткое слово или часть длинного слова. Для бизнеса токены важны, потому что использование AI измеряется, ограничивается и оплачивается в них, примерно как электричество оплачивается в киловатт-часах.
Почему AI считает в токенах, а не в словах
AI не читает целые предложения так, как это делаем мы. Прежде чем начать, ваш текст режется на маленькие кусочки, и каждый кусочек это токен. Ответ создаётся так же, кусочек за кусочком.
Короткие частые слова это по одному токену. Более длинные или редкие слова режутся на два-три. Знаки препинания и цифры тоже считаются.
Сколько текста в одном токене?
Для английского есть удобное правило: 100 токенов это примерно 75 слов. Полная страница текста это примерно от 500 до 700 токенов.
Правило лишь приблизительное. Другим языкам для того же смысла часто нужно больше токенов. Таблицы, длинные числа и веб-адреса тоже расходуют больше, чем обычные предложения.
Считаются и чтение, и написание
- Входные токены это всё, что AI читает: ваш вопрос, любой переданный вами документ и, в чате, весь разговор до этого момента.
- Выходные токены это всё, что AI пишет в ответ.
За выходные токены поставщики обычно берут больше, чем за входные. Длинный ответ ещё и приходит дольше, просто потому что нужно написать больше токенов.
Готовый пример: краткое изложение договора
Допустим, вы просите AI кратко изложить договор с поставщиком на 3 000 слов в 150 словах.
| Часть запроса | Слов | Токенов, примерно |
|---|---|---|
| Ваш вопрос | 20 | 30 |
| Договор | 3 000 | 4 000 |
| Краткое изложение, которое он пишет | 150 | 200 |
| Всего | около 4 230 |
Бросаются в глаза две вещи. Договор составляет почти весь итог. То, что вы отправляете, значит гораздо больше, чем то, как вы сформулируете вопрос. А если затем в том же чате вы спросите «Какой пункт касается просрочки поставки?», договор будет прочитан снова. Второй вопрос обойдётся примерно во столько же, во сколько первый.
Где токены расходуются незаметно
- Длинные чаты. С каждым новым сообщением передаются все предыдущие.
- Целые файлы ради небольшого вопроса. Сорок страниц отправляются, чтобы найти одну дату.
- AI, который работает в несколько шагов. Каждый шаг читает результаты предыдущих.
Четыре способа тратить меньше токенов
- Отправляйте важную часть, а не весь документ.
- Начинайте новый чат, когда тема меняется.
- Просите нужную длину. «Три пункта» обходится дешевле, чем открытый вопрос.
- Не используйте AI для шагов, с которыми справится простое жёсткое правило.
Нужно ли считать токены самому?
Нет. Достаточно знать, от чего зависит число: сколько AI должен прочитать и сколько написать. Когда вы сравниваете AI-продукты, спрашивайте, как они сокращают и то и другое.
Как с этим работает Worknano
Worknano устроен так, чтобы AI читал мало и читал правильное. AI Assistant и агенты используют семантический поиск, поиск, который находит текст по смыслу. Вместо чтения документов целиком они читают только важные фрагменты и отвечают по ним. Подготовка вашего содержимого к поиску и сам поиск не расходуют ваши AI-кредиты. У каждого агента своя настройка модели, поэтому короткие проверки могут работать на быстрой модели. Сам тариф считается на компанию, а не на пользователя, так что добавление коллег не меняет счёт.
- Какую AI-модель использует Worknano?
- Как устроены цены в период раннего доступа
- Семантический поиск: только важные фрагменты
Создайте бесплатный workspace и задайте вопрос по своим документам.