Журнал аудита ИИ-агента: как узнать, что сделал ваш агент
Журнал аудита ИИ-агента это книга записей о том, что сделал ИИ-агент: о чём его спросили, что он прочитал, что изменил, для кого и когда. ИИ-агент это программа, которая с помощью ИИ выполняет за вас задачи. Журнал позволяет объяснить результат, отменить ошибку и показать, что агент не вышел за свои рамки.
Зачем он малой компании
Вспомните кассовую ленту в магазине. В обычный день её никто не читает. В день, когда касса не сходится, это единственное, что подскажет, что случилось.
Агенту, который обновляет записи клиентов или пишет черновики писем, нужна такая же запись. Однажды кто-нибудь спросит: «Почему у этого клиента другая цена?» Без журнала честный ответ звучит так: «Что-то сделал ИИ». С журналом можно показать точный момент, запрос и изменение.
Что содержит полезная запись
| Что записывается | Зачем это нужно |
|---|---|
| Дата и время | Чтобы сопоставить с тем, что ещё происходило в тот день |
| Кто или что запустило агента | Человек, расписание или событие |
| О чём его спросили и что он прочитал | Чтобы видеть, на чём он строил работу |
| Что он ответил или предложил | Ответ, черновик или новые значения |
| Значения до и после изменения | Чтобы неверное изменение можно было отменить точно |
| Кто подтвердил | Если человек сказал «да», его имя и время |
Не каждая строка понадобится каждый день. Но в день, когда что-то выглядит неправильно, понадобится каждая.
Три вопроса, на которые журнал должен отвечать
- «Почему в этой записи так написано?» От записи клиента или проекта вы должны выйти на запуск агента, который её написал.
- «Что ещё изменил этот запуск?» Один плохой запуск редко делает одно плохое изменение. Для наведения порядка нужен полный список.
- «Бывало ли это раньше?» Вы должны видеть, разовая ли это ошибка или привычка.
И ещё один момент: журнал должен быть понятен вам, а не только программисту. А люди и агенты, о которых в нём говорится, не должны иметь возможности его править.
Пятнадцать минут раз в неделю
Журнал, который никто не читает, никого не защищает. Для малой компании достаточно короткой рутины.
- Прочитайте пять запусков каждого агента от начала до конца.
- Прочитайте каждый отказ. Если человек сказал «нет» тому, что предложил агент, что-то было не так. Это самые дешёвые уроки, какие вы получите.
- Посмотрите на необычные: запуски, которые шли дольше всех, и те, что закончились без результата.
- Запишите одно изменение в инструкциях или ограничениях агента или отметьте, что оно не понадобилось.
Через несколько недель ваши заметки покажут, каким агентам можно дать больше свободы, а каким нужна более узкая задача.
Кто может его читать и как долго хранить
В журнале есть то, что агент прочитал, а это могут быть личные или конфиденциальные сведения. Относитесь к нему так же, как к самим сведениям: кому нельзя видеть зарплаты, тому нельзя видеть их и в журнале. Как долго хранить записи, зависит от вашей сферы деятельности. Выберите срок осознанно и спросите своего консультанта о юридических обязанностях.
Чего журнал не делает
Он не предотвращает ошибку. Он сокращает время между ошибкой и её исправлением. Предотвращать ошибки должны ограничения и согласования. Журнал следит, чтобы любое последующее обсуждение шло о фактах.
Как с этим работает Worknano
В Worknano журнал аудита записывает каждый запуск агента: что поступило, что получилось, какая ИИ-модель использовалась и сколько это заняло времени. В модуле Approvals каждое одобрение, отказ и запрос на изменение записываются с пользователем и неизменяемой отметкой времени. Эту историю можно экспортировать в PDF для проверок и аудитов. Изменения ролей, новые права, чувствительные обновления и экспорты тоже записываются: кто что сделал и когда.
- Approvals и их журнал аудита
- Безопасность: доступ, идентификация и журнал аудита
- ИИ-агенты: каждый вызов записан
Создайте бесплатный workspace и посмотрите, что сделал агент, запуск за запуском.