Können KI-Agenten außer Kontrolle geraten?
Können KI-Agenten außer Kontrolle geraten? Nicht wie im Film. Ein KI-Agent ist ein Programm, das mit KI Aufgaben für dich erledigt. Er hat keine eigenen Wünsche und tut zwischen den Aufgaben nichts. Aber er kann eine Aufgabe missverstehen und das Falsche tun. Wie viel Schaden das anrichtet, hängt davon ab, was der Agent erreichen darf, und das entscheidest du.
Wie „außer Kontrolle“ in einem echten Unternehmen aussieht
Die realistischen Fälle sind gewöhnlich. Der Agent versucht, seine Arbeit zu machen, und macht sie falsch.
- Er nimmt dich zu wörtlich. Soll er „die Liste der überfälligen Aufgaben leeren“, markiert er die Aufgaben als erledigt. Die Liste ist leer. Die Arbeit ist nicht gemacht.
- Er weiß nicht, wo er aufhören soll. Soll er säumige Zahler erinnern, schreibt er an jeden Kunden mit einer offenen Rechnung, auch an die, die noch Zeit haben.
- Er räumt zu gründlich auf. Soll er Dubletten entfernen, führt er zwei verschiedene Kunden zusammen, die denselben Namen haben.
- Er hört auf die falsche Stimme. Eine Zeile in einer E-Mail sagt ihm, was er tun soll, und er gehorcht. Dieser Trick heißt Prompt Injection und hat einen eigenen Artikel.
Denk an einen übereifrigen neuen Assistenten am ersten Tag. Er meint es gut. Das Risiko ist nicht böse Absicht. Das Risiko ist ein Missverständnis, kombiniert mit den Schlüsseln zu allen Räumen.
Drei Dinge, die zusammenkommen müssen
Jeder dieser Fälle braucht drei Dinge gleichzeitig:
- eine Aufgabe, die man auf mehr als eine Art verstehen kann,
- mehr Zugriff, als die Aufgabe braucht,
- niemand, der hinsieht, bevor das Ergebnis endgültig ist.
Nimm eines weg, und der Vorfall schrumpft zu einem falschen Vorschlag, den jemand ablehnt. Der Zugriff lässt sich von den dreien am leichtesten kontrollieren, denn er hängt nicht davon ab, wie sich die KI an einem bestimmten Tag verhält.
Die Übung für den schlimmsten Tag
Nimm dir, bevor ein Agent seine Arbeit beginnt, zehn Minuten Zeit und beantworte fünf Fragen schriftlich.
- Was kann dieser Agent lesen?
- Was kann er ändern, senden oder löschen?
- Angenommen, er verstünde das alles auf einmal falsch. Wie groß wäre der Schaden?
- Wie viel davon könntest du bis morgen früh rückgängig machen?
- Wie würdest du es bemerken, und wer kann ihn stoppen?
Wenn dich die Antwort auf Frage drei beunruhigt, such nicht nach besseren Formulierungen in den Anweisungen. Kürze die Listen bei Frage eins und zwei, bis der schlimmste Tag nur noch ein schlechter Nachmittag ist.
Die Reichweite klein halten
- Ein Agent, eine Aufgabe. Ein Agent für Rechnungen hat in den Personalakten nichts verloren.
- Kein Generalschlüssel. Der Agent handelt für eine benannte Person, mit deren Rechten. Er bekommt nie ein gemeinsames Konto, das alles darf.
- Fang mit Lesen an. Erlaube Änderungen später, Bereich für Bereich, wenn die Ergebnisse es verdient haben.
- Behalte einen Ausschalter. Jemand muss wissen, wie man den Agenten pausiert, und es auch dürfen.
Was ein Agent nicht kann
Es hilft, die Grenzen der Sorge zu kennen. Ein Agent kann sich keine Rechte geben, die er nicht bekommen hat. Er kann kein Tool benutzen, das niemand angebunden hat. Er startet nicht von selbst: Ein Mensch, ein Zeitplan oder ein Ereignis startet ihn. Er hält von einer Aufgabe zur nächsten keinen verborgenen Plan fest. Alles, was er tut, läuft durch den Zugriff, den du eingerichtet hast. Deshalb ist „außer Kontrolle geraten“ weit mehr eine Frage der Einrichtung als eine Frage der KI.
So geht Worknano damit um
In Worknano kann ein Agent nur lesen, was der angemeldete Benutzer lesen darf. Will er etwas ändern, zeigt er dir die Änderung zuerst und wartet auf deine Bestätigung. Er kann Berechtigungen nicht umgehen. Rollen legen fest, was jede Person sehen und tun darf, bis hinunter zu einzelnen Feldern und Zeilen, und der Agent bleibt in der Rolle dessen, der ihn gefragt hat. Außerdem bekommt jeder Agent nur die Tools, die er braucht.
- Rollen und Berechtigungen in Worknano
- Demo: Der Agent schlägt vor und wartet auf dein Ja
- Baue deinen eigenen Agenten, mit seinen ehrlichen Grenzen
Erstelle einen kostenlosen Workspace und sieh, wie weit ein Agent mit deiner Rolle reicht.