Что такое контекстное окно и почему оно важно?
Контекстное окно это объём текста, который AI может держать в поле зрения одновременно. Всё, что AI должен учесть при ответе, должно в него поместиться: ваши инструкции, разговор до этого момента и любые документы. Что не поместилось, того он просто не видит. Поэтому длинные чаты теряют нить, а большие файлы читаются лишь частично.
Думайте о столе, а не о памяти
Представьте стол фиксированного размера. AI может читать и использовать всё, что лежит на столе. Когда стол заполнен, а приходит новая бумага, старую нужно убрать.
Это не то же самое, чему AI научился при создании. Это дало ему общие знания о языке и мире. Ваш прайс-лист, ваши клиенты и письма прошлой недели в них не входили. Всё о вашей компании приходится каждый раз класть на стол.
Между двумя вопросами AI тоже ничего не хранит. Чат кажется непрерывным разговором только потому, что приложение с каждым новым сообщением снова кладёт на стол весь разговор.
Насколько велико контекстное окно?
Это зависит от AI-модели, а размеры быстро выросли. Размер измеряется в токенах, небольших кусочках текста, в которых считает AI. Современные модели могут вместить что угодно, от длинного отчёта до нескольких книг.
Четыре признака, что стол заполнен, и что помогает
| Что вы замечаете | Почему так происходит | Что помогает |
|---|---|---|
| После длинного чата AI забывает правило, которое вы дали в начале | Первые сообщения были отброшены, чтобы освободить место | Начните новый чат и повторите правило |
| Используется только часть большого файла | Файл не поместился | Отправьте только важный раздел |
| Ответы становятся медленнее и дороже | Всё, что лежит на столе, перечитывается для каждого ответа | Держите каждый чат в рамках одной темы |
| Деталь в середине длинного текста пропущена | Факт теряется среди множества другого текста | Давайте меньше текста |
Больший размер окна решает проблему?
Отчасти. Большое окно позволяет передать целый договор за один раз, и это полезно. Но выбирать, что класть на стол, всё равно нужно, по трём причинам.
- Всё, что лежит на столе, читается каждый раз. Расходы и время ожидания растут вместе с этим.
- Чем больше не связанного с делом текста вокруг факта, тем легче AI его упустить или спутать с чем-то похожим.
- Ни одно окно не вмещает целую компанию. Годы писем, файлов и записей всегда будут больше.
Цель в том, чтобы положить на стол нужные несколько страниц, а не как можно больше страниц.
Что хорошая AI-программа делает за вас
Вам не должно приходиться управлять столом вручную. Хорошая AI-программа делает три вещи.
- Сначала ищет. Поиск находит фрагменты, подходящие к вашему вопросу, и только они попадают к AI.
- Кратко излагает. Когда разговор становится длинным, старые части сокращаются до краткого изложения.
- Начинает с того, что перед вами. AI начинает с клиента или заказа, который у вас открыт, а не со всего, до чего он мог бы дотянуться.
Когда вы сравниваете AI-продукты, спросите, как каждый из них справляется с этими тремя пунктами.
Как с этим работает Worknano
Worknano делает все три. AI Assistant уже знает, на каком экране вы находитесь, поэтому на странице CRM он начинает со сделки, которая перед вами. Чтобы найти что-то ещё, он использует семантический поиск, поиск, который находит текст по смыслу. Он читает только важные фрагменты вместо документов целиком, включая текст внутри файлов PDF, Word, Excel и PowerPoint. Длинные разговоры сокращает Assistant Memory Summarizer, так что ассистент не теряет нить. А кнопка + начинает новый чат, когда тема меняется.
- Семантический поиск: находите свою работу по смыслу
- AI-ассистенты: чат, который знает страницу, на которой вы находитесь
- Assistant Memory Summarizer
Создайте бесплатный workspace и откройте ассистента на записи, чтобы увидеть, что он уже знает.