Почему ИИ-агенты такие медленные и как их ускорить
ИИ-агенты медленные, потому что отвечают не за один заход. ИИ-агент это программа, которая с помощью ИИ выполняет за вас задачу, и работает она кругами: читает, решает, что-то ищет и начинает заново. Каждый круг занимает несколько секунд. Большая часть ожидания уходит, когда агенту нужно читать меньше, а задача ему яснее.
Сравнение из офиса
Представьте временного сотрудника в первый день. Вы просите: «Каким клиентам мы не писали две недели? Напиши каждому короткое письмо». Сотрудник идёт к картотеке, возвращается, читает свои заметки с начала, снова идёт к картотеке и так далее. Открыть картотеку быстро. Время уходит на хождение, перечитывание и писание.
Агент работает так же. Найти что-то в ваших данных быстро. Чтение и письмо медленные, и агент делает и то и другое заново на каждом круге.
Куда уходит время: один запрос по шагам
Возьмём тот же запрос про клиентов без контакта. Вот что происходит, прежде чем вы увидите ответ.
- Агент читает свои инструкции и ваш вопрос.
- Он решает найти открытые сделки и запрашивает их в вашей клиентской системе.
- Список возвращается. Обычно это самая быстрая часть.
- Агент читает список и видит, что по каждой сделке ему нужен последний контакт. Он запрашивает их, часто по одному.
- Он снова читает всё: инструкции, вопрос и все результаты на данный момент.
- Он пишет письма, слово за словом.
К вашим данным обратились с несколькими быстрыми вопросами. ИИ вызывали четыре-пять раз, и каждый раз ему было что читать всё больше. Такова картина почти любого медленного агента: много кругов и много текста в каждом.
Четыре частые причины
- Расплывчатая задача. «Найди сделку, которую я имею в виду» заставляет агента искать наугад. Каждый лишний взгляд стоит целого круга.
- Слишком много читать. Целые документы и длинные истории перечитываются на каждом круге.
- Длинный ответ. Писать для ИИ медленнее всего. Страница текста занимает гораздо больше времени, чем «да» или «нет» с одной строкой причин.
- ИИ мощнее, чем нужно для задачи. Самые способные ИИ-модели отвечают дольше. Для простой проверки они редко нужны.
Что ускоряет агента
- Скажите точно, с чего начать. «Эта сделка» быстрее, чем «одна из наших сделок».
- Дайте отрывок, а не файл. Три важных абзаца читаются быстрее, чем тридцать страниц.
- Попросите короткий ответ. Категория, дата и одно предложение пишутся быстро.
- Для простых дел берите быструю ИИ-модель. Сильную оставьте для задач из многих шагов.
- Заберите у агента фиксированные шаги. Всё, что всегда одинаково, относится к простому правилу, которое срабатывает сразу.
Когда медленно не страшно
Скорость важна, когда человек сидит перед чатом и ждёт. Гораздо меньше она важна, когда агент работает в фоне. Если новое обращение разобрано через минуту после поступления, этой минуты никто не заметит. Поэтому сначала спросите, кто ждёт. Долгие задачи, например разбор всего списка клиентов, могут идти ночью или запускаться сами, когда что-то меняется. Тогда результат просто оказывается готов, когда он людям нужен.
Как с этим работает Worknano
В Worknano агенты и ассистент используют семантический поиск, который находит текст по смыслу. Они читают только важные отрывки, поэтому ответы приходят быстрее. У каждого агента своя настройка модели: быстрая подходит для коротких проверок, сбалансированная для задач из нескольких шагов. Агенты также могут запускаться сами, когда меняется запись или по расписанию, так что долгие задачи никого не заставляют ждать. Журнал аудита записывает, сколько времени занял каждый запуск агента, и по нему видно, какого из них стоит улучшить.
- Семантический поиск по всей вашей работе
- ИИ-агенты в Worknano
- Создайте своего агента: модель, инструменты и инструкции
Создайте бесплатный workspace и засеките время работы агента на ваших собственных записях.