Почему AI-агенты галлюцинируют и как этого избежать
AI-агент галлюцинирует, когда говорит то, что звучит правдоподобно, но выдумано. Главная причина проста. AI устроен так, чтобы всегда давать гладкий ответ. Когда фактов не хватает, он заполняет пробел тем, что звучит похоже на правду.
Сравнение из жизни
Представьте нового сотрудника, который никогда не говорит «я не знаю». Клиент спрашивает, когда придёт заказ. Доступа к списку заказов у сотрудника нет, поэтому он называет дату, которая звучит разумно. Вреда он не хочет. Ему просто не хватает информации, и он об этом не говорит. AI ведёт себя так же.
Когда это случается
- Информации нет. Спросите о клиенте, которого агент не может найти, и он может описать типичного клиента.
- Информация не совпадает. Есть две версии прайс-листа. Агент выбирает одну или смешивает их.
- Вопрос слишком широкий. «Расскажи о наших продажах» приглашает к общим словам.
- Читать слишком много. Если дать агенту сразу пятьдесят документов, он может пропустить одно важное предложение.
Почему для агентов это важнее, чем для чата
AI-агент не только отвечает. Он ещё и действует. Когда ответ в чате неверный, вы его читаете и можете проигнорировать. Когда ошибается агент, ошибка может уйти дальше. Выдуманная дата доставки попадает в письмо. Угаданная сумма сохраняется в ваших записях. Поэтому меры защиты, описанные ниже, должны быть частью настройки с самого начала.
Пять способов это предотвратить
- Дайте ему возможность искать. Агенту, который может открыть настоящую карточку клиента, заказ и договор, незачем гадать.
- Просите источник. Каждое утверждение должно показывать, откуда оно взято. Ответ без источника это тревожный признак.
- Разрешите «не найдено». Напишите в инструкциях агента, что «этого нет в нашей информации» это правильный ответ.
- Делайте задачу небольшой. «Найди номер счёта, дату и итоговую сумму» безопаснее, чем «разберись с этим счётом».
- Подтверждайте перед сохранением или отправкой. Предложенное изменение сначала видит человек.
Тихая причина: беспорядок в информации
Многие выдуманные ответы не вина AI. Клиент, внесённый дважды, заказ без даты или задача, у которой нет ответственного, оставляют пробелы. Агенту приходится работать с этими пробелами. Наведение порядка в информации часто улучшает ответы сильнее, чем переход на другой AI.
Быстрая проверка для любого агента
Задайте агенту три вопроса, ответа на которые, как вы знаете, в вашей информации нет. Например, спросите телефон клиента, которого не существует. Хорошо настроенный агент скажет, что не может его найти. Если он придумает номер, примените пять шагов выше, прежде чем на него полагаться.
Как с этим работает Worknano
В Worknano агенты и ассистент работают с информацией в вашем собственном workspace. Поиск, который понимает смысл, а не только точные слова, находит нужные фрагменты. Он заглядывает и внутрь файлов PDF, Word, Excel и PowerPoint. AI читает эти фрагменты и отвечает по ним, поэтому ответы остаются близкими к вашему собственному содержимому. Правила чистоты данных показывают, где информации не хватает или она устарела, так что пробелы можно закрыть там, где они возникают. А агенты показывают вам каждое изменение и ждут вашего «да», прежде чем что-либо обновить.
- Семантический поиск по всей вашей работе
- Чистота данных: правила, оценка и дайджест
- AI-агенты в Worknano
Создайте бесплатный workspace и пусть агенты отвечают по вашим собственным данным.