Могут ли ИИ-агенты выйти из-под контроля?
Могут ли ИИ-агенты выйти из-под контроля? Не так, как в кино. ИИ-агент это программа, которая с помощью ИИ выполняет за вас задачи. У неё нет собственных желаний, и между задачами она ничего не делает. Но она может неправильно понять задачу и сделать не то. Насколько велик будет вред, зависит от того, до чего агенту разрешено дотянуться, а это решаете вы.
Как «выход из-под контроля» выглядит в настоящей компании
Реальные случаи обычные. Агент старается выполнить свою работу и делает её неправильно.
- Он понимает вас слишком буквально. Ему сказали «очисти список просроченных», и он отмечает задачи как выполненные. Список пуст. Работа не сделана.
- Он не знает, где остановиться. Его попросили напомнить тем, кто задерживает оплату, и он пишет каждому клиенту с открытым счётом, в том числе тем, у кого ещё есть время.
- Он наводит порядок слишком хорошо. Его попросили убрать дубликаты, и он объединяет двух разных клиентов с одинаковым именем.
- Он слушает не тот голос. Строка внутри письма говорит ему, что делать, и он подчиняется. Этот приём называется prompt injection, и ему посвящена отдельная статья.
Представьте старательного нового помощника в первый день. Он хочет как лучше. Риск не в дурных намерениях. Риск в недопонимании в сочетании с ключами от всех комнат.
Три вещи, которые должны совпасть
Для каждого из этих случаев нужны три вещи одновременно:
- задача, которую можно понять по-разному,
- больше доступа, чем нужно для работы,
- никто не смотрит, прежде чем результат становится окончательным.
Уберите любую, и происшествие сжимается до неверной подсказки, от которой кто-то откажется. Доступом из трёх проще всего управлять, потому что он не зависит от того, как ИИ ведёт себя в конкретный день.
Упражнение «худший день»
Прежде чем агент начнёт работать, потратьте десять минут и письменно ответьте на пять вопросов.
- Что этот агент может читать?
- Что он может менять, отправлять или удалять?
- Допустим, он ошибся во всём этом сразу. Каким будет ущерб?
- Сколько из этого вы могли бы отменить к завтрашнему утру?
- Как вы это заметите и кто может его остановить?
Если ответ на третий вопрос вас беспокоит, не ищите лучших формулировок в инструкциях. Сокращайте списки из первого и второго вопроса, пока худший день не станет просто плохим вечером.
Как держать радиус действия небольшим
- Один агент, одна работа. Агенту по счетам нечего делать в личных делах сотрудников.
- Никаких мастер-ключей. Агент действует от имени конкретного человека и с его правами. Общий аккаунт, которому можно всё, он не получает никогда.
- Начинайте с чтения. Разрешайте изменения позже, область за областью, когда результаты это заслужат.
- Оставьте выключатель. Кто-то должен знать, как поставить агента на паузу, и иметь на это право.
Чего агент не может
Полезно знать границы этого беспокойства. Агент не может выдать себе права, которых ему не давали. Он не может использовать инструмент, который никто не подключил. Он не запускается сам: его запускает человек, расписание или событие. Он не хранит скрытого плана от одной задачи к другой. Всё, что он делает, проходит через доступ, который вы настроили. Поэтому «выход из-под контроля» гораздо больше вопрос настройки, чем вопрос ИИ.
Как с этим работает Worknano
В Worknano агент может читать только то, что разрешено читать вошедшему пользователю. Когда он хочет что-то изменить, он сначала показывает вам изменение и ждёт вашего подтверждения. Обойти права доступа он не может. Роли определяют, что каждый человек может видеть и делать, вплоть до отдельных полей и строк, и агент остаётся в рамках роли того, кто его спросил. Кроме того, каждый агент получает только нужные ему инструменты.
- Роли и права доступа в Worknano
- Демо: агент предлагает и ждёт вашего «да»
- Создайте своего агента, с честным описанием его ограничений
Создайте бесплатный workspace и посмотрите, как далеко агент может дотянуться с вашей ролью.