Audit-Trail für KI-Agenten: wissen, was dein Agent getan hat
Ein Audit-Trail für KI-Agenten ist ein Logbuch dessen, was ein KI-Agent getan hat: was man ihn gefragt hat, was er gelesen hat, was er geändert hat, für wen und wann. Ein KI-Agent ist ein Programm, das mit KI Aufgaben für dich erledigt. Mit dem Trail kannst du ein Ergebnis erklären, einen Fehler rückgängig machen und zeigen, dass der Agent innerhalb seiner Grenzen geblieben ist.
Warum ein kleines Unternehmen einen braucht
Denk an den Kassenbon-Rollenstreifen im Laden. An einem normalen Tag liest ihn niemand. An dem Tag, an dem die Kasse nicht stimmt, ist er das Einzige, was dir sagt, was passiert ist.
Ein Agent, der Kundeneinträge aktualisiert oder E-Mails entwirft, braucht dieselbe Art von Aufzeichnung. Eines Tages fragt jemand: „Warum hat dieser Kunde einen anderen Preis?“ Ohne Trail lautet die ehrliche Antwort: „Die KI hat etwas getan.“ Mit Trail kannst du auf den genauen Zeitpunkt, die Anfrage und die Änderung zeigen.
Was ein brauchbarer Eintrag enthält
| Was aufgezeichnet wird | Wozu du es brauchst |
|---|---|
| Datum und Uhrzeit | Um es mit dem abzugleichen, was an dem Tag sonst passiert ist |
| Wer oder was den Agenten gestartet hat | Eine Person, ein Zeitplan oder ein Ereignis |
| Was man ihn gefragt hat und was er gelesen hat | Um zu sehen, worauf er seine Arbeit gestützt hat |
| Was er geantwortet oder vorgeschlagen hat | Die Antwort, der Entwurf oder die neuen Werte |
| Werte vor und nach einer Änderung | Damit sich eine falsche Änderung genau rückgängig machen lässt |
| Wer bestätigt hat | Wo ein Mensch Ja gesagt hat: sein Name und die Uhrzeit |
Du wirst nicht jeden Tag jede Zeile brauchen. Aber du brauchst jede von ihnen an dem Tag, an dem etwas falsch aussieht.
Drei Fragen, die der Trail beantworten muss
- „Warum steht in diesem Eintrag das?“ Von einem Kunden- oder Projekteintrag aus solltest du den Lauf des Agenten finden, der ihn geschrieben hat.
- „Was hat dieser Lauf sonst noch geändert?“ Ein schlechter Lauf macht selten nur eine schlechte Änderung. Du brauchst die vollständige Liste zum Aufräumen.
- „Ist das schon einmal passiert?“ Du solltest sehen, ob ein Fehler ein Einzelfall oder eine Gewohnheit ist.
Noch ein Punkt: Der Trail muss für dich lesbar sein, nicht nur für einen Programmierer. Und die Menschen und Agenten, die er beschreibt, dürfen ihn nicht bearbeiten können.
Eine wöchentliche Durchsicht in fünfzehn Minuten
Ein Trail, den niemand liest, schützt niemanden. Für ein kleines Unternehmen reicht eine kurze Routine.
- Lies fünf Läufe jedes Agenten von Anfang bis Ende.
- Lies jede Ablehnung. Wenn ein Mensch zu dem, was der Agent vorgeschlagen hat, Nein gesagt hat, stimmte etwas nicht. Das sind die günstigsten Lektionen, die du bekommst.
- Sieh dir die Auffälligen an: die Läufe, die am längsten gedauert haben, und die, die ohne Ergebnis endeten.
- Schreib eine Änderung auf an den Anweisungen oder Limits des Agenten, oder halte fest, dass keine nötig war.
Nach ein paar Wochen zeigen deine Notizen, welchen Agenten du mehr Freiheit geben kannst und welche eine engere Aufgabe brauchen.
Wer ihn lesen darf und wie lange du ihn aufbewahrst
Der Trail enthält, was der Agent gelesen hat, und das kann persönliche oder vertrauliche Informationen einschließen. Behandle ihn wie die Informationen selbst: Wer keine Gehälter sehen darf, sollte sie auch nicht in einem Logbuch sehen. Wie lange du Einträge aufbewahren solltest, hängt von deiner Branche ab. Lege einen Zeitraum bewusst fest und frag deinen Berater nach gesetzlichen Pflichten.
Was der Trail nicht leistet
Er verhindert keinen Fehler. Er verkürzt die Zeit zwischen einem Fehler und seiner Korrektur. Fehler zu verhindern ist die Aufgabe von Limits und Freigaben. Der Trail sorgt dafür, dass jede Diskussion hinterher von Fakten handelt.
So geht Worknano damit um
In Worknano zeichnet das Audit-Log jeden Lauf eines Agenten auf: was hineinging, was herauskam, welches KI-Modell benutzt wurde und wie lange es dauerte. Im Modul Approvals wird jede Freigabe, Ablehnung und erbetene Änderung mit dem Benutzer und einem dauerhaften Zeitstempel protokolliert. Diesen Verlauf kannst du für Reviews und Audits als PDF exportieren. Rollenänderungen, neue Berechtigungen, sensible Aktualisierungen und Exporte werden ebenfalls protokolliert, mit wer was wann getan hat.
- Approvals und ihr Audit-Trail
- Sicherheit: Zugriff, Identität und das Audit-Log
- KI-Agenten: jeder Aufruf aufgezeichnet
Erstelle einen kostenlosen Workspace und sieh nach, was ein Agent getan hat, Lauf für Lauf.