Niemand stuft sich selbst nach oben

In Organisationen, die ihre Agent-Freigabe inzwischen abgestuft haben, sehe ich mir am liebsten eine einzige Spalte an: die mit der Risikoklasse. Das Bild darin ist erstaunlich stabil. Die unterste Klasse ist voll, die mittlere dünn besetzt, in der obersten steht nichts oder das eine Vorhaben, das ohnehin alle für heikel hielten. Das ist keine Erhebung, sondern mein Eindruck aus Projekten. Nur habe ich es bisher nirgends anders gesehen.

Dafür gibt es zwei Erklärungen. Entweder baut die Organisation überwiegend harmlose Agents, dann arbeitet die Abstufung genau so, wie sie soll. Oder die Einstufung folgt nicht dem Risiko, sondern dem Aufwand, der an ihr hängt. Ich halte die zweite für die wahrscheinlichere.

Im letzten Beitrag ging es darum, dass eine Organisation ihr Risikourteil seit dem Aufschub der Hochrisiko-Fristen selbst fällen muss. Diesmal die praktische Fortsetzung. Meine These: Die Klassen zu entwerfen ist die leichte Hälfte der Abstufung. Die schwere ist die Einstufung, und sie liegt heute fast überall bei der Stelle mit dem geringsten Interesse an einem hohen Ergebnis.

Einig sind sich inzwischen alle

Richard Ewing hat am 21. September auf CIO.com zwei Sätze formuliert, die den Stand der Debatte gut treffen. Der erste: Je folgenreicher die Handlung, desto stärker die Kontrolle, und ein Agent, der Besprechungsnotizen zusammenfasst, gehöre nicht unter dieselbe Kontrollgrenze wie einer, der eine Rückerstattung auslösen kann. Der zweite räumt mit dem naheliegenden Gegenvorschlag auf: Vor jede automatisierte Handlung ein Freigabegremium zu stellen sei genauso verfehlt, wie Agents ohne Leitplanken auszurollen. Seine eigentliche Diagnose finde ich noch brauchbarer. Organisationen verwechseln die technische Überwachung der Leistung mit der betrieblichen Autorisierung. Dass ein Agent zuverlässig funktioniert, ist nachgewiesen. Dass er tun darf, was er tut, hat niemand entschieden.

Diese Position teile ich, und ich habe sie beim genehmigten Wildwuchs selbst vertreten: zwei oder drei Klassen, sortiert nach Wirkung. Vollständig war das nicht. Ein Klassenmodell beschreibt, was mit einem Agent geschieht, nachdem er einsortiert wurde. Wie er in seine Klasse kommt, steht in keinem.

Wie viel Sorgfalt inzwischen in die Instrumente fließt, zeigt das TrustX Agent Risk Classification Framework, das Hannah M. Liu, Rhea Saxena und Shiv Asthana im Juli veröffentlicht haben. Es lässt sich auf sieben Typen agentischer Systeme anwenden, misst das Risiko über eine Skala mit zwölf Dimensionen, kombiniert das mit einem fünfstufigen Autonomiemodell und ordnet am Ende in drei Governance-Stufen samt passender Kontrollen ein.

Das Verhältnis von Eingang und Ausgang zeigt den praktischen Punkt. Ein Dutzend Dimensionen mündet am Ende in drei Eimer. Für eine Aufsicht, die wenige Systeme gründlich beurteilen muss, ist das richtig herum gebaut. Eine Organisation, die im nächsten Jahr sechzig Agents einsortieren will, hat ein anderes Problem. Für sie zählt nicht, wie genau eine Einstufung sein kann, sondern wie billig sie sein muss, damit sie überhaupt stattfindet. Jede Einstufung, die eine halbe Arbeitswoche kostet, wird entweder nicht gemacht oder von jemandem gemacht, der das Vorhaben nicht kennt.

Damit landet man fast zwangsläufig bei der Selbsteinstufung: Wer den Agent baut, ordnet ihn ein. Das ist die einzige Variante, die mit der Zahl der Vorhaben mitwächst, und deshalb halte ich sie für richtig. Ungeschützt ist sie trotzdem.

Warum die unterste Klasse volläuft

Die Erklärung steckt in den Kosten, und die fallen sehr ungleich an. Eine hohe Klasse bringt Termine, Rückfragen, Auflagen und Wochen. Eine niedrige bringt einen Eintrag, danach geht die Arbeit weiter. Der Preis der hohen Klasse wird sofort spürbar und trifft die Person, die einstuft. Der Preis der niedrigen fällt später an und trifft die Organisation. Dass diese Rechnung in fast jedem Haus gleich ausgeht, hat mit Charakter nichts zu tun.

Dazu kommt ein unauffälligerer Effekt. Die Einstufung leitet sich aus der Beschreibung des Vorhabens ab, und diese Beschreibung verfasst dieselbe Seite, die die Freigabe möchte. Gelogen wird dabei nirgends, formuliert wird günstig. „Unterstützt die Sachbearbeitung bei der Vorbereitung von Vorgängen" ist eine zutreffende Beschreibung. Sie bleibt auch dann zutreffend, wenn der Agent Vorgänge abschließt, solange niemand widerspricht.

Drei Fragen, und die dritte fehlt immer

Oft stimmt schon die Achse nicht, auf der eingestuft wird. Viele Klassenmodelle sortieren nach Datenklasse, weil diese Einteilung aus dem Datenschutz bereits vorlag und niemand zwei Systematiken pflegen wollte. Andere übernehmen Anhang III des AI Act, was ich beim Aufschub der Fristen schon für ein ausgelagertes Risikourteil gehalten habe. Beides beantwortet eine Frage über Material, während bei Agents die Handlung das Risiko trägt. Ein Agent, der ausschließlich öffentlich zugängliche Daten liest und daraus Bestellungen auslöst, ist nach Datenklasse unauffällig.

Tragfähig ist eine Achse, die an der Handlung ansetzt. Sie besteht aus drei Fragen.

Wie weit reicht die Handlung nach außen? Zwischen einem Agent, der einen Entwurf in ein internes Postfach legt, und einem, der im Namen des Hauses schreibt, liegt technisch wenig und organisatorisch alles.

Was kostet die Rücknahme? Eine missratene Zusammenfassung wird überschrieben. Eine zu Unrecht ausgelöste Zahlung holt man zurück, mit einigem Aufwand. Ein verschicktes Schreiben gar nicht.

Und die dritte, die mir in noch keinem Klassenmodell begegnet ist: Wie oft passiert das, bevor jemand hinsieht? Ein Fehlurteil bei drei Vorgängen pro Woche ist ein Gespräch. Dasselbe Fehlurteil bei dreitausend Vorgängen ist ein Programm, mit Rückabwicklung und Meldepflichten. Frequenz vergrößert jeden Fehler, und sie ist die einzige der drei Größen, die nach der Freigabe von allein wächst, nämlich genau dann, wenn der Agent sich bewährt hat.

Was eine Selbsteinstufung trägt

Für dieses Problem gibt es eine Konstruktion, die sich übertragen lässt, und sie steht ausgerechnet im AI Act. Artikel 6 erlaubt es der anbietenden Seite, ein System aus Anhang III selbst als nicht hochriskant einzustufen. Allerdings nur entlang von vier eng gefassten Bedingungen, darunter die eng umrissene Verfahrensaufgabe und die Verbesserung eines bereits abgeschlossenen menschlichen Arbeitsergebnisses. Profiling ist von der Ausnahme ausgenommen, ohne Abwägung. Und Absatz 4 verlangt, dass die Einstufung vor der Inbetriebnahme dokumentiert wird, dass das System trotzdem registriert wird und dass die Unterlagen der Behörde auf Verlangen vorliegen.

Bemerkenswert daran ist, was fehlt: eine vorherige Prüfung. Niemand sieht sich die Selbsteinstufung an, bevor das System läuft. Sie muss nur schriftlich vorliegen, einen Namen tragen und auffindbar bleiben. Ob das für eine europäische Regulierung genügt, ist eine eigene Debatte. Als Bauprinzip für das eigene Haus halte ich es für das beste verfügbare.

Die Einstufung bekommt eine Begründung und eine verantwortliche Person. Zwei Sätze reichen, und sie bleiben auffindbar. Wer weiß, dass die eigene Einordnung später jemand lesen kann, formuliert sie anders.

Eine Handvoll Auslöser stuft unabhängig von der Selbsteinschätzung hoch. Das ist der Profiling-Vorbehalt in der Hausvariante. Wer nach außen kommuniziert, Zahlungen auslöst, in ein führendes System schreibt oder Beschäftigte betrifft, landet nicht in der untersten Klasse, gleich wie das Vorhaben beschrieben wurde.

Dazu eine Stichprobe, die ruhig klein sein darf. Jemand sieht sich eine von zwanzig Einstufungen genauer an. Wichtig ist allein, dass das Ergebnis zu der Person zurückgeht, die eingestuft hat.

Die Klasse gehört an den Handlungsraum

Bleibt der Teil, der in der Praxis am schnellsten kippt. Agents bleiben nicht in ihrer Klasse. Ein Werkzeug kommt dazu, eine Berechtigung wird erweitert, damit der Agent den Vorgang zu Ende bringen kann. Ein neues Vorhaben ist das nicht, es ist ein besseres. Also beantragt auch niemand etwas, und die Einstufung von damals gilt weiter, obwohl sie einen Agent beschreibt, den es so nicht mehr gibt.

Deshalb gehört die Klasse an den Handlungsraum und nicht an den Agent: an die Liste der Werkzeuge, Systeme und Rechte, mit denen er arbeiten darf. Wächst diese Liste, verfällt die Einstufung. Beim Abschalten habe ich für die Ownership dasselbe vorgeschlagen: ein Auslöser statt eines Turnus. Ein Prüfrhythmus fragt jedes Quartal alle und bekommt von den meisten die Antwort, dass sich nichts geändert hat. Ein Auslöser fragt genau die, bei denen sich etwas geändert hat.

Abstufung wird gern als Entlastung verkauft, und sie entlastet tatsächlich. Ihr eigentlicher Zweck liegt woanders. Prüfaufmerksamkeit ist das einzige Governance-Budget, das sich nicht aufstocken lässt: In jeder Organisation gibt es eine feste Menge an Terminen, in denen erfahrene Leute ernsthaft über ein Vorhaben nachdenken. Eine Abstufung entscheidet, wohin diese Menge fließt. Wer sie nicht trifft, verteilt gleichmäßig, und gleichmäßig heißt bei dieser Verteilung: überwiegend an die harmlosen Fälle.

Eine leere oberste Klasse ist deshalb kein beruhigender Befund. Sie belegt nicht, dass im Haus nichts Riskantes läuft. Sie belegt, dass bisher niemand einen Grund hatte, dort etwas einzutragen.