Worknano

Могут ли ИИ-агенты выйти из-под контроля?

Updated 2026-11-15

Могут ли ИИ-агенты выйти из-под контроля? Не так, как в кино. ИИ-агент это программа, которая с помощью ИИ выполняет за вас задачи. У неё нет собственных желаний, и между задачами она ничего не делает. Но она может неправильно понять задачу и сделать не то. Насколько велик будет вред, зависит от того, до чего агенту разрешено дотянуться, а это решаете вы.

Как «выход из-под контроля» выглядит в настоящей компании

Реальные случаи обычные. Агент старается выполнить свою работу и делает её неправильно.

Представьте старательного нового помощника в первый день. Он хочет как лучше. Риск не в дурных намерениях. Риск в недопонимании в сочетании с ключами от всех комнат.

Три вещи, которые должны совпасть

Для каждого из этих случаев нужны три вещи одновременно:

Уберите любую, и происшествие сжимается до неверной подсказки, от которой кто-то откажется. Доступом из трёх проще всего управлять, потому что он не зависит от того, как ИИ ведёт себя в конкретный день.

Упражнение «худший день»

Прежде чем агент начнёт работать, потратьте десять минут и письменно ответьте на пять вопросов.

  1. Что этот агент может читать?
  2. Что он может менять, отправлять или удалять?
  3. Допустим, он ошибся во всём этом сразу. Каким будет ущерб?
  4. Сколько из этого вы могли бы отменить к завтрашнему утру?
  5. Как вы это заметите и кто может его остановить?

Если ответ на третий вопрос вас беспокоит, не ищите лучших формулировок в инструкциях. Сокращайте списки из первого и второго вопроса, пока худший день не станет просто плохим вечером.

Как держать радиус действия небольшим

Чего агент не может

Полезно знать границы этого беспокойства. Агент не может выдать себе права, которых ему не давали. Он не может использовать инструмент, который никто не подключил. Он не запускается сам: его запускает человек, расписание или событие. Он не хранит скрытого плана от одной задачи к другой. Всё, что он делает, проходит через доступ, который вы настроили. Поэтому «выход из-под контроля» гораздо больше вопрос настройки, чем вопрос ИИ.

Как с этим работает Worknano

В Worknano агент может читать только то, что разрешено читать вошедшему пользователю. Когда он хочет что-то изменить, он сначала показывает вам изменение и ждёт вашего подтверждения. Обойти права доступа он не может. Роли определяют, что каждый человек может видеть и делать, вплоть до отдельных полей и строк, и агент остаётся в рамках роли того, кто его спросил. Кроме того, каждый агент получает только нужные ему инструменты.

Создайте бесплатный workspace и посмотрите, как далеко агент может дотянуться с вашей ролью.