Ограничения ИИ-агентов (guardrails): примеры
Guardrails ИИ-агента, или ограничения, это жёсткие рамки вокруг агента, которые не дают ошибке разрастись. ИИ-агент это программа, которая с помощью ИИ выполняет за вас задачи. Ограничения определяют, что агент может видеть, что ему можно делать и когда он обязан передать дело человеку. Хорошие ограничения не зависят от того, хорошо ли ведёт себя ИИ. Они держатся, даже когда он ошибается.
Инструкция это ещё не ограничение
Подумайте о корпоративной карте. Сотруднику можно сказать: «Пожалуйста, не трать больше 500 евро». Это инструкция. А банк может поставить на карту лимит в 500 евро. Это ограничение. Первое зависит от человека. Второе работает при любых обстоятельствах.
С агентом так же. «Никогда не предлагай скидку больше десяти процентов» в его инструкциях это просьба. Агент выполнит её почти всегда. Ограничение это проверка, которая не пропустит предложение с двенадцатью процентами, что бы агент ни написал. Записывайте и инструкцию, но не считайте её защитой.
Четыре вида ограничений, с примерами
- Что он видит. Агент по оплате получает только вопросы о счетах. Он может читать заказы и счета. Ведомость зарплат он читать не может.
- Что ему можно делать. Он может подготовить ответ. Отправить его не может. Удалять что-либо у него нет возможности.
- Сколько ему можно делать. Не больше двадцати записей за один раз. Одно сообщение на клиента в день. Возвраты только до определённой суммы.
- Когда он передаёт дело. Если клиент упоминает юриста, расторжение договора или жалобу на сотрудника, агент передаёт дело руководителю команды и ничего не пишет.
Набор ограничений для одного агента
Вот как может выглядеть полный набор для агента, который готовит ответы на обращения клиентов.
- Он получает только обращения, пришедшие через контактную форму.
- Он читает заказы и предыдущие обращения этого клиента, а также ваши справочные тексты. Больше ничего.
- Он пишет черновик. Отправить не может.
- В черновике должно быть названо справочное руководство или заказ, на которые он опирается.
- Он никогда не обещает дату, возврат или изменение цены. Там, где это нужно, он оставляет помеченный пропуск для человека.
- Если он не может ответить по тому, что прочитал, он так и говорит и передаёт обращение дальше.
Шесть правил, и каждое можно проверить. Ни одно не просит агента «быть осторожным».
Как написать ограничение, которое работает
- Его можно проверить ответом «да» или «нет». «Возвраты свыше 100 евро идут в финансовый отдел» проверить можно. «Проявляй здравый смысл с возвратами» нельзя.
- Оно говорит, что делать дальше. Остановиться, спросить или передать названной роли. Правило, которое только блокирует, оставляет работу без движения.
- У него есть причина. Каждое правило должно восходить к ошибке, которая случилась, или к той, которую вы ясно можете себе представить.
- За ним кто-то следит. Лимиты и списки устаревают. Один человек поддерживает их в актуальном виде.
Сколько ограничений достаточно?
Начните строго и ослабляйте шаг за шагом, когда агент докажет себя. Если ограничений слишком мало, один неудачный запуск наносит ущерб. Если слишком много, агент всё передаёт людям, и у вашей команды прежняя нагрузка плюс очередь. Баланс правильный, когда передач человеку немного и большинство из них оказывается оправданным.
Как с этим работает Worknano
В Worknano то, до чего может дотянуться агент, определяют два источника: инструменты, которые вы даёте этому агенту, и роль того, кто его спрашивает. Изменения записей появляются в виде предварительного просмотра, который нужно подтвердить. Для лимитов, зависящих от суммы, в цепочки согласования можно включить шаг, например одобрение финансового отдела только выше суммы, которую вы выберете. Условия workflow решают, какие записи вообще попадают к агенту.
- Роли и права доступа: что может видеть и делать каждая роль
- Approvals: цепочки, условия и эскалация
- Workflows: условия перед шагом с агентом
Создайте бесплатный workspace и задайте первые ограничения для собственного агента.