Как протестировать ИИ-агента, прежде чем ему доверять
Чтобы протестировать ИИ-агента, дайте ему настоящие случаи из вашего бизнеса, где вы заранее знаете правильный результат, и сравните. ИИ-агент это программа, которая с помощью ИИ выполняет за вас задачи, например сортирует обращения или пишет черновики ответов. Поскольку один и тот же запрос каждый раз может давать немного разные результаты, оценивайте его по целому набору случаев, а не по одной попытке.
Почему быстрая проба это не тест
Большинство агентов «тестируют», набрав два-три запроса и прочитав ответы. Всё выглядит нормально, и агент приступает к работе.
Это как нанять продавца, увидев, как он обслужил одного дружелюбного покупателя. Настоящая проверка это покупатель с жалобой, тот, кому нужны сразу две вещи, и тот, чей заказ не удаётся найти. Агенты редко ошибаются на типичных случаях. Они ошибаются на наполовину заполненной форме, на письме с двумя просьбами и на клиенте, который дважды есть в вашем списке. В настоящем тесте есть те случаи, о которых вы предпочли бы не думать.
План теста из пяти шагов
- Скажите, что значит «правильно». Запишите это. Для агента, который сортирует обращения: правильная категория и правильная срочность. Для черновика ответа: верные факты, дружелюбный тон и никаких обещаний, которые компания не может выполнить.
- Соберите настоящие случаи. Возьмите двадцать-тридцать за последние несколько месяцев. Смешайте обычные с неудобными. Добавьте несколько таких, где правильный ответ: «Я не могу это сделать, пусть посмотрит человек».
- Сначала запишите ожидаемый результат. До запуска агента отметьте по каждому случаю, как поступил бы хороший коллега. Если сначала посмотреть на ответ агента, возникнет соблазн его принять.
- Прогоните все случаи и оцените каждый. Правильно, приемлемо или неверно. К каждому неверному результату добавьте строку с причиной.
- Измените одну вещь и прогоните всё снова. Исправление одного случая часто ломает другой. Увидеть это можно только на полном наборе.
Случаи, которые люди забывают включить
- Пустая или наполовину заполненная форма
- Запрос на другом языке
- Две просьбы в одном сообщении
- Запрос, который противоречит одному из ваших правил
- Клиент, который дважды есть в вашем списке
- Сообщение, которое пытается отдавать агенту приказы
Что считать пройденным тестом?
Единого числа нет. Всё зависит от того, что происходит с работой агента. Если человек читает каждый черновик перед отправкой, часть «приемлемых» результатов допустима, лишь бы неверные было легко заметить. Если агент действует без чьей-либо проверки, ему нужно гораздо больше правильных результатов, а оставшиеся ошибки должны быть безвредными и легко отменяемыми.
Смотрите не только на количество, но и на вид ошибки. Десять неуклюжих предложений значат меньше, чем одна неверная сумма.
Сохраняйте тестовые случаи
Собранный вами набор остаётся полезным. Прогоняйте его снова всякий раз, когда меняете инструкции агента. Каждый раз, когда агент ошибается в повседневной работе, добавляйте этот случай.
От теста к доверию
Пройденный тест не означает полной свободы. Начните с того, что человек подтверждает каждый результат. Следите, как часто ему приходится исправлять. Затем давайте агенту больше свободы шаг за шагом. Тест говорит, что агент готов работать под присмотром. Недели под присмотром говорят, когда этого присмотра нужно меньше.
Как с этим работает Worknano
В Worknano агента редактируют в Config, в разделе Agents. Там задают его инструкции, инструменты и ИИ-модель. Чтобы попробовать вариант, продублируйте агента и измените инструкции. Агента можно запустить кнопкой на записи или сразу на целом списке выбранных записей, что удобно для набора настоящих тестовых случаев. Изменения записей приходят в виде предварительного просмотра, который вы подтверждаете. Руководство по продукту даёт тот же совет, что и эта статья: проверьте на нескольких настоящих записях, затем поправьте инструкции, прежде чем менять модель.
- Создайте своего агента: чек-лист для инструкций
- Как редактировать агента в Config
- ИИ-агенты: где они работают и что выдают
Создайте бесплатный workspace и запустите агента на тридцати ваших собственных случаях.