Jak przetestować agenta AI, zanim mu zaufasz
Żeby przetestować agenta AI, daj mu prawdziwe przypadki z twojej firmy, w których już znasz właściwy wynik, i porównaj. Agent AI to program, który za pomocą AI wykonuje za ciebie zadania, na przykład sortuje zapytania albo pisze szkice odpowiedzi. Ponieważ ta sama prośba może za każdym razem dać nieco inny wynik, oceniaj go na całym zestawie przypadków, nigdy po jednej próbie.
Dlaczego szybka próba to nie test
Większość agentów "testuje się", wpisując dwie, trzy prośby i czytając odpowiedzi. Wyglądają dobrze i agent zaczyna pracę.
To jak zatrudnienie sprzedawcy po tym, jak obsłużył jednego miłego klienta. Prawdziwy test to klient z reklamacją, ten, który chce dwóch rzeczy naraz, i ten, którego zamówienia nie da się znaleźć. Agenci rzadko zawodzą na typowych przypadkach. Zawodzą na w połowie wypełnionym formularzu, mailu z dwiema prośbami i kliencie, który jest na twojej liście dwa razy. Prawdziwy test zawiera przypadki, o których wolałoby się nie myśleć.
Plan testu w pięciu krokach
- Powiedz, co znaczy "dobrze". Zapisz to. Dla agenta sortującego zapytania: właściwa kategoria i właściwa pilność. Dla szkicu odpowiedzi: poprawne fakty, życzliwy ton i żadnej obietnicy, której firma nie może dotrzymać.
- Zbierz prawdziwe przypadki. Weź dwadzieścia do trzydziestu z ostatnich miesięcy. Wymieszaj zwykłe z kłopotliwymi. Dodaj kilka takich, w których właściwa odpowiedź brzmi "nie dam rady, musi spojrzeć człowiek".
- Najpierw zapisz oczekiwany wynik. Zanim agent ruszy, zanotuj dla każdego przypadku, co zrobiłby dobry współpracownik. Jeśli najpierw spojrzysz na odpowiedź agenta, łatwo będzie ci ją po prostu zaakceptować.
- Uruchom wszystkie przypadki i oceń każdy. Dobrze, akceptowalnie albo źle. Przy każdym złym wyniku dopisz jedną linijkę o przyczynie.
- Zmień jedną rzecz i uruchom wszystko jeszcze raz. Poprawka jednego przypadku często psuje inny. Pokaże to tylko pełny zestaw.
Przypadki, o których ludzie zapominają
- Pusty albo w połowie wypełniony formularz
- Prośba w innym języku
- Dwie prośby w jednej wiadomości
- Prośba sprzeczna z jedną z twoich reguł
- Klient, który jest na twojej liście dwa razy
- Wiadomość, która próbuje wydawać agentowi polecenia
Co uznać za zaliczenie?
Nie ma jednej liczby. To zależy od tego, co dzieje się z pracą agenta. Jeśli człowiek czyta każdy szkic, zanim wyjdzie, część wyników "akceptowalnych" jest w porządku, o ile złe łatwo zauważyć. Jeśli agent działa bez niczyjej kontroli, potrzebuje znacznie więcej dobrych wyników, a jego pozostałe pomyłki muszą być nieszkodliwe i łatwe do cofnięcia.
Patrz na rodzaj pomyłki, nie tylko na ich liczbę. Dziesięć niezgrabnych zdań znaczy mniej niż jedna zła kwota.
Zachowaj przypadki testowe
Zbiór, który zbudujesz, pozostaje przydatny. Uruchamiaj go ponownie za każdym razem, gdy zmieniasz instrukcje agenta. Za każdym razem, gdy agent pomyli się w codziennej pracy, dodaj ten przypadek.
Od testu do zaufania
Zaliczenie testu nie oznacza pełnej swobody. Zacznij od tego, że człowiek potwierdza każdy wynik. Obserwuj, jak często musi go poprawiać. Potem dawaj agentowi coraz więcej swobody, krok po kroku. Test mówi ci, że agent jest gotowy do pracy pod nadzorem. Tygodnie pod nadzorem mówią, kiedy potrzebuje go mniej.
Jak robi to Worknano
W Worknano agenta edytujesz w Config, w sekcji Agents. Tam ustawiasz jego instrukcje, narzędzia i model AI. Żeby wypróbować wariant, zduplikuj agenta i zmień jego instrukcje. Agenta możesz uruchomić przyciskiem na rekordzie albo na całej liście zaznaczonych rekordów naraz, co pasuje do zestawu prawdziwych przypadków testowych. Zmiany w rekordach przychodzą jako podglądy do potwierdzenia. Przewodnik po produkcie daje tę samą radę co ten artykuł: przetestuj na kilku prawdziwych rekordach, a potem popraw instrukcje, zanim zmienisz model.
- Zbuduj własnego agenta, z listą kontrolną dla instrukcji
- Jak edytować agenta w Config
- Agenci AI: gdzie działają i co zwracają
Załóż darmowy workspace i uruchom agenta na trzydziestu własnych przypadkach.