Der Mensch, der immer zustimmt

In Freigaberunden gibt es einen Moment, an dem die Stimmung kippt. Jemand hat gerade beschrieben, was der Agent künftig tun soll, und allen im Raum wird klar, dass es diesmal um mehr geht als um sortierte Postfächer. Nach einer kurzen Pause fällt der Satz, der die Sache wieder beruhigt: Am Ende schaut noch ein Mensch drüber. Danach geht der Punkt durch.

Im letzten Beitrag ging es um die laufende Rechnung eines Agents, also um eine Zahl, die niemand nachhält. Diesmal geht es um eine Zusage, die niemand nachhält. Human in the Loop ist derzeit die meistvergebene Auflage in AI-Freigaben und die am wenigsten überprüfte. Ich halte sie in dieser Form für wertlos: Solange niemand weiß, wie oft die prüfende Person tatsächlich widerspricht, ist sie eine Unterschrift und keine Kontrolle.

Eine Auflage ohne Namen und ohne Termin

Es lohnt sich, im eigenen Protokoll nachzusehen, wie die Auflage dort steht. Jede andere Auflage einer Freigabe bekommt eine verantwortliche Person und ein Datum: Die Protokollierung wird bis Ende September ergänzt, die Datenquelle bis zum Go-live geklärt. Human in the Loop steht daneben wie ein Zustand, den es ohnehin schon gibt. Sie bekommt weder eine Person noch eine Frist.

Damit bleiben vier Fragen offen, die in keiner Vorlage vorkommen, die ich kenne. Wer genau prüft? Wie viele Vorgänge kommen pro Tag bei dieser Person an? Wie viel Zeit steht pro Vorgang zur Verfügung? Und sieht sie überhaupt genug, um zu urteilen?

Die letzte Frage ist die unangenehmste. Ein Agent entwirft ein Schreiben an eine Kundin oder einen Kunden, und die Sachbearbeitung soll es freigeben. Zu sehen ist der Entwurf. Nicht zu sehen sind die Daten, aus denen er entstanden ist, und die Zwischenschritte, die dorthin geführt haben. Ob der Text plausibel klingt, lässt sich beurteilen. Ob er stimmt, nicht. Eine Kontrollstelle, die nur das fertige Ergebnis sieht, prüft die Formulierung und nickt den Inhalt mit ab. Im Protokoll heißt dieser Vorgang trotzdem: durch einen Menschen freigegeben.

Warum Zustimmen die günstigste Antwort ist

Wer daraus einen Vorwurf an die prüfenden Personen macht, hat den Mechanismus nicht verstanden. Man muss sich nur ansehen, was ein Widerspruch tatsächlich kostet. Er kostet Zeit, deutlich mehr als eine Zustimmung: Wer stoppt, muss nachvollziehen, was der Agent getan hat, den Vorgang selbst bearbeiten oder weiterreichen und in beiden Fällen begründen, warum. Er hält außerdem eine Warteschlange auf, an deren Ende jemand wartet. Und er trägt ein Risiko, über das selten gesprochen wird. Der Agent hatte in den letzten Wochen fast immer recht. Wer gegen ihn entscheidet und danebenliegt, steht sichtbarer da als jemand, der zugestimmt hat und danebenlag.

Eine Zustimmung dauert Sekunden, fällt niemandem auf und erzeugt kein Dokument, das später gegen jemanden verwendet werden kann. Dass die Zustimmungsrate unter diesen Bedingungen gegen hundert Prozent läuft, ist absehbar. Die Person, die klickt, hat sich diese Lage nicht ausgesucht.

Der EU AI Act hat das Problem immerhin benannt. Artikel 14 verlangt, dass die mit der Aufsicht betrauten Personen sich der Neigung bewusst bleiben, den Ergebnissen eines Systems automatisch zu vertrauen, und dass sie dessen Output verwerfen, überschreiben oder rückgängig machen können. Johann Laux und Hannah Ruschemeier haben in ihrer Analyse dieser Regelung darauf hingewiesen, dass Bewusstsein das schwächste verfügbare Mittel ist: Die Ursachen für übermäßiges Vertrauen liegen in der Gestaltung des Systems und im Kontext seines Einsatzes, nicht in der Aufmerksamkeit einer einzelnen Person. Aus der Praxisrichtung komme ich zum selben Ergebnis. Wer die Prüfmenge festlegt, legt die Prüfqualität fest, und das ist eine Führungsentscheidung.

Dazu kommt ein Effekt, über den in Freigaberunden niemand gern spricht. Die Auflage verschiebt Verantwortung nach unten. Freigegeben hat das Vorhaben ein Gremium, verantwortet wird der einzelne Vorgang von der Person, die auf „zustimmen" klickt, und zwar in einer Taktung, die sie nicht selbst gewählt hat.

Die Zahl, die nirgends entsteht

Jim O'Donnell hat am 4. Juni bei TechTarget über genau diesen Zustand geschrieben. Zwei Punkte daraus finde ich für die Führungsdiskussion brauchbar. Dan Leiva von CXAmplify sagt darin sinngemäß, in Organisationen werde „Human in the Loop" so verwendet wie die Aufforderung, ein Formular zu unterschreiben, und niemand lese das Formular. Fern Halper stellt die Frage, auf die es ankommt: Denkt die prüfende Person tatsächlich mit, oder sieht sie Ergebnisse an und klickt auf freigeben? O'Donnell zitiert außerdem Zahlen aus Deloittes „State of AI in the Enterprise" 2026: 74 Prozent der befragten Unternehmen wollen innerhalb von zwei Jahren Agents einsetzen, 21 Prozent geben an, ein ausgereiftes Modell für deren Steuerung zu haben. Zwischen diesen beiden Werten liegt viel Platz für Auflagen, die gut klingen.

Halpers Frage lässt sich beantworten, und zwar mit einer einzigen Zahl: wie oft die prüfende Person in einem Zeitraum nicht zugestimmt hat. Diese Zahl entsteht in den meisten Organisationen nirgends, obwohl das System jede einzelne Entscheidung ohnehin protokolliert. Eine Widerspruchsquote von null ist kein Qualitätsnachweis. Sie bedeutet entweder, dass der Agent in hunderten Fällen fehlerfrei war, oder dass niemand mehr wirklich hinsieht, und die zweite Erklärung ist die häufigere.

Ich nenne bewusst keinen Zielwert, weil ich keinen kenne, der über verschiedene Prozesse hinweg trägt. Interessant ist ohnehin die Bewegung. Eine Quote, die über sechs Monate von zwölf auf zwei Prozent fällt, sagt etwas, ganz gleich, wo sie gestartet ist. Entweder ist der Agent besser geworden, oder die Prüfung ist eingeschlafen. Beides sollte jemand wissen wollen, denn die Konsequenzen sind entgegengesetzt.

Was die Auflage tragfähig macht

Prüfzeit gehört in die Freigabe. Wie viele Vorgänge täglich anfallen und wie viel Zeit pro Vorgang vorgesehen ist, ist Teil des Vorhabens und keine Selbstorganisation der Fachbereiche. Wenn daraus ein halber Personentag pro Woche wird, gehört dieser Aufwand in die Rechnung. Sonst wird die Kontrolle aus dem laufenden Betrieb mitfinanziert, also faktisch gestrichen.

Der Widerspruch braucht ein Mandat. Die prüfende Person muss stoppen dürfen, ohne sich vor einer Runde zu rechtfertigen, und sie muss wissen, was passiert, wenn sie zu Unrecht gestoppt hat: nämlich nichts. Was ich über Gremien ohne Entscheidungsrechte geschrieben habe, gilt für diese einzelne Rolle genauso. Wo das Nein nicht ausgestattet ist, entsteht Zustimmung von allein.

Manchmal ist die Freigabe pro Vorgang ohnehin der falsche Ort. Bei hohem Volumen und geringer Wirkung wird sie zur teuren Formalie, weil niemand tausend Vorgänge im Monat ernsthaft prüfen kann. Wirksamer ist dann ein enger gesteckter Handlungsraum und eine wöchentliche Stichprobe, die tatsächlich jemand liest. Das ist dieselbe Abstufung nach Wirkung, die ich beim genehmigten Wildwuchs beschrieben habe, diesmal auf die Kontrolle angewendet statt auf die Freigabe.

Wer wissen will, wie es im eigenen Haus steht, braucht dafür keine Analyse. Nehmen Sie die letzte Freigabe, in der Human in the Loop als Auflage steht, und stellen Sie eine einzige Frage: Wie oft hat die prüfende Person im vergangenen Monat nicht zugestimmt? Braucht die Antwort mehrere Tage Recherche, dann existiert diese Kontrolle bisher nur im Protokoll. Sie tatsächlich einzurichten kostet weniger als der Aufwand, den dieselbe Organisation für das Nachhalten aller anderen Auflagen derselben Freigabe betreibt.