AI agent failure modes, en hoe je ze opspoort
AI agent failure modes zijn de typische manieren waarop een AI agent een taak verkeerd doet. Een AI agent is een programma dat AI gebruikt om taken voor je uit te voeren. Hij kan op de verkeerde plek zoeken, de verkeerde gegevens gebruiken, halverwege stoppen of rondjes draaien. Het zijn er maar een handvol, en elke fout kun je opsporen met een eenvoudige controle.
Waarom agents stilletjes falen
Gewone software faalt luid. Ze toont een foutmelding en stopt. Een agent faalt meestal beleefd. Hij meldt in een zelfverzekerde zin dat de klus klaar is, terwijl een deel ontbreekt of fout is.
Het is als een ijverige stagiair die "helemaal klaar" zegt na veertig van de tweehonderd brieven te hebben opgeborgen. Je komt er niet achter door op een klacht te wachten. Je komt erachter door naar het resultaat te kijken.
Zes failure modes in één oogopslag
| Failure mode | Wat je ziet | Hoe je het opspoort |
|---|---|---|
| Verkeerde plek | Hij zoekt in contacten terwijl je naar facturen vroeg | Geef de agent alleen de tools die hij nodig heeft |
| Verkeerde gegevens | Het juiste soort item, maar de verkeerde klant, datum of bedrag | Laat hem de waarden tonen voordat ze worden opgeslagen |
| Rondjes draaien | Hij herhaalt dezelfde stap en wordt nooit klaar | Stel een limiet in op stappen en tijd |
| Te vroeg stoppen | "Klaar", na drie van de tien items | Tel wat erin ging en wat eruit kwam |
| Verborgen gat | Een opzoeking mislukte en de agent ging zonder verder | Een mislukte opzoeking moet de klus stoppen |
| Verzonnen feiten | Een geloofwaardig detail zonder bron | Vraag om de bron van elk feit |
Verzonnen feiten worden vaak hallucinaties genoemd. Daar is een apart artikel over.
De twee die zich het best verbergen
Te vroeg stoppen en het verborgen gat verdienen extra aandacht, omdat het antwoord in beide gevallen compleet lijkt. Een samenvatting van "alle openstaande verzoeken" leest net zo goed als ze veertig van de tweehonderd dekt.
De remedie is saai en ze werkt. Als een agent een lijst afwerkt, noteer dan het aantal items aan het begin en vergelijk het aan het eind. En zorg dat de agent duidelijk zegt wanneer hij iets niet kon opzoeken. "Ik vond niets" en "ik kon niet kijken" mogen nooit hetzelfde klinken.
Van symptoom naar oorzaak
Als een klus misgaat, zegt het eindantwoord weinig. Drie stappen leiden naar de oorzaak.
- Kijk naar de stappen, niet alleen naar het antwoord. Wat zocht de agent op, in welke volgorde, en wat kwam er terug?
- Benoem de failure mode. Zoek de bijbehorende rij in de tabel. Passen er twee rijen, dan is de klus waarschijnlijk te groot voor één agent.
- Los het soort fout op, niet het losse geval. Zocht de agent op de verkeerde plek, haal dan de tools weg die hij niet nodig heeft. Na elk incident nog een zin aan de instructies toevoegen maakt ze lang en niet veiliger.
Welke fouten het zwaarst wegen
Een fout die eindigt in een verkeerde zin op een scherm kost een ogenblik. Een fout die eindigt in een gewijzigd klantrecord, een verstuurde e-mail of een betaling kost meer. Sorteer je agents dus op wat hun werk raakt. Zet de strengste controles waar een fout in je gegevens terechtkomt of een klant bereikt. Overal elders is een snelle blik genoeg.
Zo pakt Worknano dit aan
In Worknano houdt het auditlogboek van elke run van een agent een overzicht bij: wat erin ging, wat eruit kwam, welk AI-model is gebruikt en hoe lang het duurde. Een run die misging, kun je dus achteraf teruglezen. De vorm van het antwoord van een agent ligt vooraf vast. Als een agent een record wil wijzigen, toont hij een voorbeeld en bevestig jij. Waar de beslissing bij een manager of bij finance hoort, geeft de module Approvals haar door langs een vaste keten van mensen, met tijdslimieten en escalatie.
- AI agents: invoer, uitvoer en het auditlogboek
- Approvals: geordende goedkeuringen met een geschiedenis
- Demo: een voorgestelde wijziging, bevestigd voordat ze wordt opgeslagen
Maak een gratis workspace en lees je eerste agent-run stap voor stap.