Menschliche Freigabe für KI-Agenten: vier Muster
Von: Artashes Arakelian, Mitgründer und COO · Veröffentlicht: · Aktualisiert:
Ein KI-Agent, der handeln kann, braucht eine klare Regel, wann ein Mensch entscheidet. Der Artikel vergleicht vier Freigabemuster, ihr Protokoll und die Reihenfolge der Einführung.
Freigabe ist eine Designentscheidung, kein Häkchen
Wenn ein KI-Agent eine E-Mail senden, einen Datensatz ändern oder eine Zahlung auslösen kann, lautet die Frage nicht mehr, wie klug das Modell ist, sondern wer wann entscheidet. Zu sagen, ein Mensch sei in der Schleife, genügt nicht, denn das kann bedeuten, dass jemand jede Ausgabe liest, oder dass das System theoretisch abgeschaltet werden könnte. Beides unterscheidet sich stark in Kosten und Schutz. Wir behandeln Freigabe als Designentscheidung pro Aktion: Welche Aktionen darf der Agent allein ausführen, welche brauchen vorher einen Menschen, und was passiert, wenn etwas schiefgeht. Die folgenden Muster sind unsere übliche Antwort auf diese drei Fragen in der eigenen Orchestrierungsarbeit.
Vier Muster, und was sie nicht sind
Die vier Muster in diesem Artikel sind unsere eigene Engineering-Praxis. Es sind Muster, keine rechtlichen Anforderungen, und nichts hier behauptet, dass der Einsatz eines Musters ein System konform mit dem EU AI Act oder einem anderen Gesetz macht. Sie sind nützlich, weil jedes ein anderes Gleichgewicht zwischen Tempo, Kosten und Kontrolle setzt und weil jedes ein Protokoll hinterlässt, das später geprüft werden kann. In der Praxis nutzen die meisten Agenten mehr als eines: einen Notaus überall und je Aktionstyp eines der anderen drei.
Die vier Muster im Vergleich
Die Tabelle vergleicht die Muster nach der Situation, für die sie passen, und nach dem Mindestprotokoll, das jedes hinterlassen sollte. Lesen Sie sie pro Aktion statt pro Agent: Derselbe Agent kann bei Zahlungen die Vorabfreigabe und beim Verschlagworten von Support-Tickets die Stichprobenprüfung nutzen.
| Muster | Wann einsetzen | Was protokollieren |
|---|---|---|
| Vorabfreigabe: Der Agent schlägt vor, ein Mensch gibt frei, bevor etwas geschieht | Aktionen, die schwer rückgängig zu machen sind, für Kunden oder Partner sichtbar sind oder bei Fehlern teuer werden, etwa Zahlungen, Vertragsänderungen oder externe Nachrichten | Die vorgeschlagene Aktion, die dem Freigebenden gezeigten Eingaben und Quellen, wer freigegeben oder abgelehnt hat, vorgenommene Änderungen und den Zeitpunkt |
| Ausnahme-Queue: Der Agent handelt bei klaren Fällen allein und leitet unklare an einen Menschen weiter | Hohes Volumen mit überwiegend Routinefällen, bei dem sich vorab beschreiben lässt, was als unklar gilt | Warum ein Vorgang weitergeleitet wurde (Regel oder geringe Sicherheit), Wartezeit, Entscheidung der Person und Anteil der weitergeleiteten Vorgänge |
| Stichprobenprüfung: Ein Mensch prüft nachträglich eine Stichprobe abgeschlossener Aktionen | Risikoarme, umkehrbare Aktionen in großer Zahl, bei denen die Freigabe jedes Vorgangs mehr kosten würde als die verhinderten Fehler | Die Stichprobenregel, welche Vorgänge gezogen wurden, das Urteil des Prüfers, gefundene Fehler und die ergriffene Korrektur |
| Notaus: Jede berechtigte Person kann den Agenten sofort stoppen und die Arbeit zurück in die manuelle Bearbeitung geben | Immer, als Absicherung hinter jedem anderen Muster, und das einzige Muster für plötzliche Probleme wie einen fehlerhaften Datenfeed | Wer ihn gestoppt hat, wann, warum, was in diesem Moment in Bearbeitung war und wer den Neustart freigegeben hat |
So wählen Sie pro Aktion
Zwei Fragen entscheiden die meisten Fälle. Wie teuer ist ein einzelner Fehler, und lässt er sich rückgängig machen? Eine teure oder nicht umkehrbare Aktion gehört hinter eine Vorabfreigabe, egal wie genau der Agent im Test wirkt. Eine billige, leicht umkehrbare Aktion kann allein laufen und per Stichprobe geprüft werden. Die Ausnahme-Queue liegt dazwischen: Sie funktioniert, wenn Sie klar sagen können, was einen Fall ungewöhnlich macht, etwa ein fehlendes Feld, einen Betrag über dem Limit oder einen Kunden auf einer Beobachtungsliste. Wenn Sie die Ausnahmen nicht beschreiben können, wissen Sie noch nicht genug, um Routinefälle unbeaufsichtigt zu lassen, und die Vorabfreigabe ist die ehrliche Wahl.
Der Freigebende muss echt sein
Eine Person, die bei jedem Vorgang ungelesen auf Freigeben klickt, ist keine Aufsicht, sondern nur Verzögerung. Drei Details machen Freigabe echt. Zeigen Sie dem Freigebenden die Belege hinter einem Vorschlag, nicht nur den Vorschlag. Geben Sie ihm die Befugnis, ohne Rückfrage abzulehnen, und die Zeit zur Prüfung im Takt, in dem die Queue ankommt. Sagen Sie ihm, wie das System typischerweise versagt, damit er nach diesen Fehlern sucht, statt einem selbstsicheren Ton zu vertrauen. Hilfreich ist, die Änderungen des Freigebenden zu protokollieren: Eine hohe Quote unveränderter Freigaben bei komplexen Vorgängen ist ein Signal, zu prüfen, ob überhaupt geprüft wird.
Was der AI Act zur Aufsicht sagt
Für Hochrisiko-KI-Systeme regelt der AI Act die menschliche Aufsicht direkt. Laut dem AI Act Service Desk der Europäischen Kommission verlangt Artikel 14 von Anbietern, solche Systeme so zu gestalten, dass Menschen sie während der Nutzung wirksam beaufsichtigen können, und nennt Fähigkeiten dieser Menschen: die Grenzen des Systems verstehen, wachsam gegenüber übermäßigem Vertrauen in die Ausgabe bleiben, sie interpretieren, sich gegen die Nutzung entscheiden oder sie übersteuern und das System sicher stoppen. Artikel 26 legt Betreibern Pflichten auf: das System gemäß Anweisung nutzen, die Aufsicht Personen mit der nötigen Kompetenz, Schulung und Befugnis übertragen, den Betrieb überwachen und die in ihrer Kontrolle befindlichen Protokolle mindestens sechs Monate aufbewahren. Diese Artikel betreffen nur Hochrisiko-Systeme, und der Service Desk weist darauf hin, dass seine Zusammenfassungen rechtlich nicht verbindlich sind. Welche Ihrer Anwendungen als Hochrisiko gelten und ab wann, ist eine Frage für eine Rechtsberatung; die Termine behandelt unser Zeitplan-Artikel. Die obigen Muster können solche Pflichten unterstützen, ersetzen aber nicht die Lektüre des Textes.
Eine Einführungsreihenfolge, die trägt
Freigabe in falscher Reihenfolge einzuführen ist der übliche Fehler: Teams beginnen mit der leichtesten Kontrolle, weil sie am billigsten ist, und fügen Reibung erst nach einem Vorfall hinzu. Die folgende Reihenfolge kehrt das um. Sie geht von streng zu leicht, so wie das Protokoll zeigt, dass man dem Agenten mehr anvertrauen kann.
- Listen Sie jede Aktion auf, die der Agent ausführen kann, und markieren Sie sie als umkehrbar oder nicht umkehrbar sowie als intern oder extern.
- Stellen Sie zu Beginn jede Aktion hinter die Vorabfreigabe, auch jene, die Sie später lockern wollen.
- Legen Sie die Protokollfelder vor dem Start fest: Vorschlag, Unterlagen, Person, Entscheidung, Zeitpunkt und etwaige Änderung.
- Benennen Sie die Freigebenden, geben Sie ihnen die Befugnis abzulehnen und vereinbaren Sie eine maximale Antwortzeit.
- Bauen und testen Sie den Notaus vor der ersten Live-Aktion und üben Sie, wer ihn nutzen darf und wie die Arbeit manuell weiterläuft.
- Verlagern Sie nach genügend protokollierten Entscheidungen risikoarme Aktionen in eine Ausnahme-Queue und die risikoärmsten in die Stichprobenprüfung, je Aktionstyp einzeln.
- Prüfen Sie Protokolle, Stichprobenergebnisse und Stopp-Ereignisse nach festem Plan und stellen Sie eine Aktion zurück auf Vorabfreigabe, wenn Fehler zunehmen.
Protokoll behalten, Stoppmöglichkeit behalten
Durch alle vier Muster zieht sich dasselbe Prinzip: Der Mensch muss entscheiden können, und die Organisation muss nachträglich zeigen können, was entschieden wurde. Eine Freigabe ohne Protokoll lässt sich nicht prüfen, und ein Protokoll ohne funktionierende Möglichkeit, den Agenten zu stoppen, dokumentiert das Problem nur. Wenn Sie einen Agenten planen, der in Ihren Systemen handelt, behandeln Sie das Freigabedesign vom ersten Workshop an als Teil des Aufbaus, denn das nachträgliche Ergänzen nach dem Start bedeutet meist, neu zu schreiben, wie der Agent seine Arbeit meldet.
Häufig gestellte Fragen
Was ist der Unterschied zwischen Human in the Loop und Human on the Loop?
In the Loop heißt, ein Mensch entscheidet vor jeder Aktion, wie bei der Vorabfreigabe. On the Loop heißt, der Agent handelt allein, während ein Mensch überwacht, bei Ausnahmen eingreift oder nachträglich Stichproben prüft. Was passt, hängt von Kosten und Umkehrbarkeit eines Fehlers ab, nicht von der Technik.
Machen diese Freigabemuster einen KI-Agenten AI-Act-konform?
Nein. Sie sind Engineering-Praxis, keine rechtlichen Anforderungen. Die Regeln des AI Act zur menschlichen Aufsicht für Hochrisiko-Systeme stehen in den Artikeln 14 und 26, und ob Ihre Anwendung Hochrisiko ist, ist eine Rechtsfrage. Die Muster und ihre Protokolle können diese Pflichten unterstützen, belegen aber keine Konformität.
Woran erkenne ich, dass ein Agent die Vorabfreigabe verlassen kann?
Am Protokoll. Zeigt eine aussagekräftige Reihe protokollierter Entscheidungen, dass Freigebende einen Aktionstyp selten ändern oder ablehnen und Fehler leicht rückgängig zu machen sind, verlagern Sie ihn in eine Ausnahme-Queue oder Stichprobenprüfung. Behalten Sie den Notaus und gehen Sie zurück, wenn Fehler steigen.