KI-Agent testen: So prüfst du ihn, bevor du ihm vertraust
Um einen KI-Agenten zu testen, gib ihm echte Fälle aus deinem Unternehmen, bei denen du das richtige Ergebnis schon kennst, und vergleiche. Ein KI-Agent ist ein Programm, das mit KI Aufgaben für dich erledigt, etwa Anfragen sortieren oder Antworten entwerfen. Weil dieselbe Anfrage jedes Mal leicht unterschiedliche Ergebnisse liefern kann, beurteilst du ihn an einer ganzen Reihe von Fällen und nie an einem einzigen Versuch.
Warum kurzes Ausprobieren kein Test ist
Die meisten Agenten werden „getestet“, indem jemand zwei oder drei Anfragen eintippt und die Antworten liest. Sie sehen gut aus, und der Agent nimmt die Arbeit auf.
Das ist, als würdest du eine Verkäuferin einstellen, nachdem du ihr bei einem freundlichen Kunden zugesehen hast. Der echte Test ist der Kunde mit einer Beschwerde, der, der zwei Dinge auf einmal will, und der, dessen Bestellung nicht auffindbar ist. Agenten scheitern selten an typischen Fällen. Sie scheitern am halb ausgefüllten Formular, an der E-Mail mit zwei Anliegen und am Kunden, der zweimal in deiner Liste steht. Ein echter Test enthält die Fälle, an die du lieber nicht denkst.
Ein Testplan in fünf Schritten
- Sag, was „richtig“ heißt. Schreib es auf. Für einen Agenten, der Anfragen sortiert: die richtige Kategorie und die richtige Dringlichkeit. Für einen Antwortentwurf: korrekte Fakten, ein freundlicher Ton und kein Versprechen, das das Unternehmen nicht halten kann.
- Sammle echte Fälle. Nimm zwanzig bis dreißig aus den letzten Monaten. Mische gewöhnliche mit kniffligen. Füge ein paar hinzu, bei denen die richtige Antwort lautet: „Das kann ich nicht, ein Mensch muss draufschauen.“
- Schreib zuerst das erwartete Ergebnis auf. Notiere vor dem Lauf des Agenten für jeden Fall, was ein guter Kollege getan hätte. Siehst du dir zuerst die Antwort des Agenten an, wirst du versucht sein, sie zu akzeptieren.
- Lass alle Fälle laufen und bewerte jeden. Richtig, akzeptabel oder falsch. Schreib zu jedem falschen Ergebnis eine Zeile mit dem Grund.
- Ändere eine Sache und lass alles noch einmal laufen. Die Korrektur für einen Fall macht oft einen anderen kaputt. Das zeigt nur die ganze Reihe.
Fälle, die man gern vergisst
- Ein leeres oder halb ausgefülltes Formular
- Eine Anfrage in einer anderen Sprache
- Zwei Anliegen in einer Nachricht
- Eine Anfrage, die gegen eine deiner Regeln verstößt
- Ein Kunde, der zweimal in deiner Liste steht
- Eine Nachricht, die versucht, dem Agenten Befehle zu geben
Was zählt als bestanden?
Es gibt keine einzelne Zahl. Es kommt darauf an, was mit der Arbeit des Agenten passiert. Liest ein Mensch jeden Entwurf, bevor er rausgeht, sind einige „akzeptable“ Ergebnisse in Ordnung, solange sich die falschen leicht erkennen lassen. Handelt der Agent ohne Kontrolle, braucht er weit mehr richtige Ergebnisse, und seine übrigen Fehler müssen harmlos und leicht rückgängig zu machen sein.
Sieh dir die Art des Fehlers an, nicht nur die Zahl. Zehn ungelenke Sätze zählen weniger als ein falscher Betrag.
Behalte die Testfälle
Die Sammlung, die du angelegt hast, bleibt nützlich. Lass sie wieder laufen, wenn du die Anweisungen des Agenten änderst. Jedes Mal, wenn der Agent im Alltag etwas falsch macht, füge diesen Fall hinzu.
Vom Test zum Vertrauen
Ein bestandener Test heißt nicht volle Freiheit. Fang damit an, dass ein Mensch jedes Ergebnis bestätigt. Beobachte, wie oft er korrigieren muss. Gib dem Agenten dann Schritt für Schritt mehr Freiheit. Der Test sagt dir, dass der Agent bereit ist, unter Aufsicht zu arbeiten. Die Wochen unter Aufsicht sagen dir, wann er weniger davon braucht.
So geht Worknano damit um
In Worknano bearbeitest du einen Agenten unter Config, bei Agents. Dort legst du seine Anweisungen, seine Tools und sein KI-Modell fest. Um eine Variante auszuprobieren, dupliziere einen Agenten und ändere seine Anweisungen. Du kannst einen Agenten per Button an einem Datensatz starten oder auf einer ganzen Liste ausgewählter Datensätze auf einmal, was zu einer Reihe echter Testfälle passt. Änderungen an Datensätzen kommen als Vorschau, die du bestätigst. Die Produktanleitung gibt denselben Rat wie dieser Artikel: erst an einigen echten Datensätzen testen, dann die Anweisungen anpassen, bevor du das Modell wechselst.
- Baue deinen eigenen Agenten, mit einer Checkliste für Anweisungen
- So bearbeitest du einen Agenten in Config
- KI-Agenten: wo sie laufen und was sie ausgeben
Erstelle einen kostenlosen Workspace und lass einen Agenten dreißig deiner eigenen Fälle bearbeiten.