Het audit trail van een AI agent: weten wat je agent deed
Een audit trail van een AI agent is een logboek van wat een AI agent deed: wat hem gevraagd werd, wat hij las, wat hij wijzigde, voor wie en wanneer. Een AI agent is een programma dat AI gebruikt om taken voor je uit te voeren. Met het audit trail kun je een resultaat uitleggen, een fout terugdraaien en laten zien dat de agent binnen zijn grenzen bleef.
Waarom een klein bedrijf er een nodig heeft
Denk aan de kassarol in een winkel. Op een gewone dag leest niemand hem. Op de dag dat de kas niet klopt, is het het enige wat je vertelt wat er gebeurd is.
Een agent die klantgegevens bijwerkt of e-mails opstelt, heeft hetzelfde soort overzicht nodig. Op een dag vraagt iemand: "Waarom heeft deze klant een andere prijs?" Zonder audit trail is het eerlijke antwoord: "de AI deed iets". Met een audit trail wijs je het exacte moment aan, het verzoek en de wijziging.
Wat een bruikbare vermelding bevat
| Wat wordt vastgelegd | Waarom je het nodig hebt |
|---|---|
| Datum en tijd | Om het te vergelijken met wat er die dag verder gebeurde |
| Wie of wat de agent startte | Een persoon, een schema of een gebeurtenis |
| Wat hem gevraagd werd en wat hij las | Om te zien waarop hij zijn werk baseerde |
| Wat hij antwoordde of voorstelde | Het antwoord, het concept of de nieuwe waarden |
| Waarden voor en na een wijziging | Zodat een foute wijziging precies kan worden teruggedraaid |
| Wie bevestigde | Waar een mens ja zei: zijn naam en het tijdstip |
Je hebt niet elke regel elke dag nodig. Je hebt ze allemaal nodig op de dag dat er iets niet klopt.
Drie vragen die het audit trail moet beantwoorden
- "Waarom staat dit zo in dit item?" Vanuit een klant- of projectitem moet je de run van de agent vinden die het schreef.
- "Wat heeft die run nog meer gewijzigd?" Een slechte run maakt zelden één slechte wijziging. Je hebt de volledige lijst nodig om op te ruimen.
- "Is dit eerder gebeurd?" Je moet kunnen zien of een fout eenmalig is of een gewoonte.
Nog een punt: het audit trail moet leesbaar zijn voor jou, niet alleen voor een programmeur. En de mensen en agents die erin staan, mogen het niet kunnen bewerken.
Een wekelijkse controle van een kwartier
Een audit trail dat niemand leest, beschermt niemand. Voor een klein bedrijf is een korte routine genoeg.
- Lees vijf runs van elke agent van begin tot eind.
- Lees elke afwijzing. Als een mens nee zei tegen wat de agent voorstelde, klopte er iets niet. Dit zijn de goedkoopste lessen die je krijgt.
- Kijk naar de vreemde gevallen: de runs die het langst duurden en de runs die zonder resultaat eindigden.
- Schrijf één wijziging op in de instructies of grenzen van de agent, of noteer dat er geen nodig was.
Na een paar weken laten je notities zien welke agents meer vrijheid kunnen krijgen en welke een strakkere taak nodig hebben.
Wie het mag lezen, en hoe lang je het bewaart
Het audit trail bevat wat de agent las, en dat kan persoonlijke of vertrouwelijke informatie zijn. Behandel het zoals de informatie zelf: wie geen salarissen mag zien, mag ze ook niet in een logboek zien. Hoe lang je vermeldingen moet bewaren, hangt af van je branche. Kies bewust een termijn en vraag je adviseur naar wettelijke verplichtingen.
Wat het audit trail niet doet
Het voorkomt geen fout. Het verkort de tijd tussen een fout en het herstel. Fouten voorkomen is het werk van grenzen en goedkeuringen. Het audit trail zorgt dat elke discussie achteraf over feiten gaat.
Zo pakt Worknano dit aan
In Worknano legt het auditlogboek elke run van een agent vast: wat erin ging, wat eruit kwam, welk AI-model is gebruikt en hoe lang het duurde. In de module Approvals wordt elke goedkeuring, afwijzing en gevraagde wijziging vastgelegd met de gebruiker en een blijvend tijdstip. Die geschiedenis kun je als pdf exporteren voor beoordelingen en audits. Ook rolwijzigingen, nieuwe rechten, gevoelige updates en exports worden vastgelegd, met wie wat deed en wanneer.
- Approvals en hun audit trail
- Beveiliging: toegang, identiteit en het auditlogboek
- AI agents: elke aanroep vastgelegd
Maak een gratis workspace en zoek op wat een agent deed, run voor run.