Een AI agent testen voordat je hem vertrouwt
Om een AI agent te testen, geef je hem echte gevallen uit je bedrijf waarvan je het juiste resultaat al kent, en vergelijk je. Een AI agent is een programma dat AI gebruikt om taken voor je uit te voeren, zoals aanvragen sorteren of antwoorden opstellen. Omdat hetzelfde verzoek elke keer iets anders kan opleveren, beoordeel je hem op een hele set gevallen en nooit op één poging.
Waarom even proberen geen test is
De meeste agents worden "getest" door twee of drie verzoeken in te typen en de antwoorden te lezen. Ze zien er goed uit, en de agent gaat aan het werk.
Het is als een winkelmedewerker aannemen nadat je hem één vriendelijke klant hebt zien bedienen. De echte test is de klant met een klacht, de klant die twee dingen tegelijk wil en de klant wiens bestelling niet te vinden is. Agents falen zelden op de typische gevallen. Ze falen op het half ingevulde formulier, de e-mail met twee verzoeken erin en de klant die twee keer in je lijst staat. Een echte test bevat de gevallen waar je liever niet aan denkt.
Een testplan in vijf stappen
- Zeg wat "goed" betekent. Schrijf het op. Voor een agent die aanvragen sorteert: de juiste categorie en de juiste urgentie. Voor een concept van een antwoord: kloppende feiten, een vriendelijke toon en geen belofte die het bedrijf niet kan nakomen.
- Verzamel echte gevallen. Neem er twintig tot dertig uit de afgelopen maanden. Meng gewone met lastige. Voeg er een paar toe waarbij het juiste antwoord is: "Dit kan ik niet, een mens moet ernaar kijken."
- Schrijf eerst het verwachte resultaat op. Noteer voordat de agent draait per geval wat een goede collega zou hebben gedaan. Kijk je eerst naar het antwoord van de agent, dan ben je geneigd het te accepteren.
- Laat alle gevallen draaien en beoordeel elk. Goed, acceptabel of fout. Voeg bij elk fout resultaat één regel toe over de reden.
- Verander één ding en laat alles opnieuw draaien. Een oplossing voor het ene geval breekt vaak een ander. Alleen de volledige set laat dat zien.
Gevallen die mensen vergeten
- Een leeg of half ingevuld formulier
- Een verzoek in een andere taal
- Twee verzoeken in één bericht
- Een verzoek dat tegen een van je regels ingaat
- Een klant die twee keer in je lijst staat
- Een bericht dat de agent bevelen probeert te geven
Wat telt als geslaagd?
Er is niet één getal. Het hangt af van wat er met het werk van de agent gebeurt. Als een mens elk concept leest voordat het de deur uit gaat, zijn sommige "acceptabele" resultaten prima, zolang de foute makkelijk te herkennen zijn. Als de agent handelt zonder dat iemand controleert, heeft hij veel meer goede resultaten nodig, en moeten zijn resterende fouten onschuldig en makkelijk terug te draaien zijn.
Kijk naar het soort fout én naar het aantal. Tien onhandige zinnen wegen minder dan één fout bedrag.
Bewaar de testgevallen
De verzameling die je opbouwde, blijft nuttig. Laat haar opnieuw draaien als je de instructies van de agent verandert. Elke keer dat de agent in het dagelijkse werk iets verkeerd doet, voeg je dat geval toe.
Van test naar vertrouwen
Slagen voor de test betekent niet volledige vrijheid. Begin met een mens die elk resultaat bevestigt. Kijk hoe vaak hij moet corrigeren. Geef de agent dan stap voor stap meer vrijheid. De test vertelt je dat de agent klaar is om onder toezicht te werken. De weken met toezicht vertellen je wanneer hij er minder van nodig heeft.
Zo pakt Worknano dit aan
In Worknano bewerk je een agent onder Config, bij Agents. Daar stel je zijn instructies, zijn tools en zijn AI-model in. Om een variant te proberen, dupliceer je een agent en pas je zijn instructies aan. Je kunt een agent starten met een knop op een record, of in één keer op een hele lijst geselecteerde records, wat past bij een set echte testgevallen. Wijzigingen in records komen binnen als voorbeeld dat je bevestigt. De productgids geeft hetzelfde advies als dit artikel: test op een paar echte records en pas de instructies aan voordat je het model verandert.
- Bouw je eigen agent, met een checklist voor instructies
- Hoe je een agent bewerkt in Config
- AI agents: waar ze draaien en wat ze opleveren
Maak een gratis workspace en laat een agent draaien op dertig van je eigen gevallen.