Детерминированы ли ИИ-агенты?
ИИ-агенты не детерминированы. Детерминированный значит, что одни и те же входные данные всегда дают один и тот же результат, как у карманного калькулятора. ИИ-агент, программа, которая с помощью ИИ выполняет задачи, работает иначе, вероятностно: он выбирает из нескольких вероятных ответов, поэтому два запуска одного и того же запроса могут немного отличаться. Это можно уменьшить, а можно не пускать туда, где от этого будет вред.
Почему на один вопрос два ответа?
Попросите коллегу написать одно и то же письмо в понедельник и снова в пятницу. Два письма скажут одно и то же разными словами. ИИ ведёт себя похоже. Он не ищет готовый ответ. Он строит ответ слово за словом, и для каждого слова выбирает одно из нескольких подходящих.
Настройка под названием temperature, «температура», управляет тем, насколько свободно он выбирает. Высокое значение даёт более живой и разнообразный текст. Низкое держит ИИ ближе к самой вероятной формулировке.
У агента эффект может усилиться, потому что агент работает в несколько шагов. Небольшая разница в начале меняет то, что он прочтёт дальше.
Решает ли проблему низкая температура?
Она делает агента заметно стабильнее. Но не гарантирует одинаковых результатов. А стабильный не значит правильный: агент может каждый раз давать один и тот же неверный ответ. Стабильность всё равно полезна, ведь повторяющуюся ошибку легко найти и исправить.
Где разброс допустим, а где нет
- Допустим: формулировки писем и сводок, идеи, альтернативные варианты текста.
- Допустим, если кто-то проверяет: сортировка обращений по категориям, считывание значений из документа.
- Недопустим: цены, итоговые суммы, налоги, даты в договорах, кто получает доступ, уходит ли платёж.
Пример: одно предложение, разделённое на две части
Клиент пишет: «Мы хотели бы получить предложение на 40 лицензий. Мы с вами уже три года.» Если агент выполняет всю задачу один, скидка может отличаться изо дня в день. Поэтому задачу делят.
- Чтение письма: агент. Он отмечает продукт, количество и клиента.
- Скидка: жёсткое правило. Таблица говорит, чего стоят 40 лицензий и три года. Завтра она скажет то же самое.
- Итоговая сумма: расчёт, никогда не ИИ.
- Сопроводительное письмо: агент. Два разных черновика здесь не проблема.
- Отправка: человек читает предложение и подтверждает.
Клиент получает личное письмо и цену, которую любой в компании может объяснить. Агент сделал два шага, где нужен язык. Всё, что должно быть одинаковым каждый раз, никогда не оставлялось на волю случая.
Четыре способа сделать агента стабильнее
- Снизьте температуру для проверки и сортировки.
- Задайте форму ответа. «Выбери одну из этих четырёх категорий» оставляет мало простора для блужданий.
- Дайте примеры для пограничных случаев, чтобы агент решал их каждый раз одинаково.
- Держите задачу небольшой. Одно решение на агента даёт меньше разброса, чем пять.
Что это значит для малой компании
Не спрашивайте, детерминирован ли агент. Спрашивайте, какие части задачи должны быть детерминированными. Отдайте их правилам и расчётам, а агенту оставьте чтение и письмо. Тогда разброс уместен там, где вы хотите человеческого тепла, и отсутствует там, где нужна уверенность.
Как с этим работает Worknano
Worknano позволяет держать жёсткую часть и гибкую часть в одном процессе. Workflow это набор шагов, заданных заранее: что его запускает, при каких условиях и что происходит дальше. Агент это один из шагов внутри него. У каждого агента своя температура: ниже для устойчивых ответов и выше для большего разнообразия. Агенту можно также дать примеры, которые подскажут ему, как действовать в пограничных случаях.
- Workflows: триггеры, условия и действия
- Создайте своего агента: инструкции, модель и температура
- ИИ-агенты и типы их результатов
Создайте бесплатный workspace и поместите правило и агента в один workflow.