Der Ernstfall kennt keine Zuständigkeit

Für die Freigabe eines Agents hat fast jede Organisation inzwischen einen Termin, eine Vorlage und ein Protokoll. Für den Nachmittag, an dem derselbe Agent im Betrieb etwas anrichtet, hat sie Telefonnummern.

Der Ablauf, den ich dabei mehrfach aus der Nähe gesehen habe, wiederholt sich erstaunlich genau. Jemand aus der Sachbearbeitung leitet eine Rückmeldung weiter, in der etwas nicht stimmt. Eine Stunde später ist klar, dass es nicht der Einzelfall ist, aber nicht, wie viele Vorgänge betroffen sind. Die Fachseite will den Prozess nicht anhalten, weil daran Fristen hängen. Die IT kann anhalten und hält sich für die fachliche Frage, ob angehalten werden soll, nicht für zuständig. Security sieht keinen Angriff und bleibt draußen. Die verantwortliche Person aus der Freigabe ist erreichbar und sagt den Satz, der die Lage offenhält: Das kann ich nicht allein entscheiden. Am Abend läuft der Agent weiter. Entschieden hat das niemand.

Zuletzt ging es hier um die Einstufung von Agents, also um ein Urteil, das vor dem Betrieb gefällt wird. Dieser Nachmittag ist der Tag, an dem sich zeigt, ob es getragen hat. Meine These: Der Vorfall ist die einzige Lage im Lebenszyklus eines Agents, für die in den meisten Häusern niemand benannt ist. Alles davor hat ein Verfahren. Alles danach auch.

Ein Vorfall ohne angreifende Seite

Für Störungen halten Organisationen zwei Drehbücher bereit. Das eine gehört Security und setzt einen Angriff voraus: eindämmen und Spuren sichern. Das andere gehört dem IT-Betrieb und setzt einen Ausfall voraus, also Wiederherstellung, bis es wieder läuft. Ein Agent, der im Betrieb Schaden anrichtet, passt in keines von beiden. Angegriffen wird niemand, ausgefallen ist nichts. Das System tut, was es kann, an der falschen Stelle.

Wie viele Vorfälle in diese Lücke fallen, hat Cyera im Mai untersucht. Ehud Halamish und Vladimir Tokarev haben 7.246 öffentlich berichtete AI-Vorfälle aus der Zeit zwischen September 2023 und Mai 2026 durchgesehen und 344 davon als für Unternehmen einschlägig eingeordnet. In 188 dieser Fälle gab es keine angreifende Seite in der Kette: Autonome Systeme haben von sich aus Schaden an Produktivumgebungen angerichtet. Ein Satz aus dem Papier beschreibt die Taktung, auf die es ankommt: Ein Agent kann eine zerstörende Handlung in der Zeit abschließen, die ein Alarm zum Auslösen braucht.

Dass das keine Randerscheinung mehr ist, zeigt eine zweite Erhebung. Mary Ellen McCandless hat am 4. August über den State of Reliability Report von StackGen berichtet, der knapp 178.000 öffentliche Statusmeldungen von mehr als 390 Unternehmen auswertet. Der Anteil der Störungen mit AI-Bezug ist dort von 1,7 Prozent im Jahr 2023 auf 10,7 Prozent im laufenden Jahr gestiegen.

Eine Zahl des Berichts steht an unauffälliger Stelle und ist mir am längsten im Kopf geblieben. Die häufigste einzelne Behebungsmaßnahme über alle Störungen hinweg ist das Warten auf einen vorgelagerten Anbieter, mit 13,6 Prozent, noch vor Neustart und Rückabwicklung. Für Agents, die mit der Software geliefert werden, beschreibt das den Nachmittag in einem Satz. Der Knopf, den jemand drücken müsste, liegt in einem anderen Haus.

Die Rechnung am Nachmittag

Mut ist dabei selten das Problem. Die Kosten des Anhaltens werden sofort fällig und tragen einen Namen. Der Prozess steht, Vorgänge stauen sich, am Ende der Warteschlange warten Menschen, und wer angehalten hat, wird am Mittwoch nach der Begründung gefragt. Was das Weiterlaufen kostet, zeigt sich erst Tage später, über viele Vorgänge verstreut, und es lässt sich keiner Entscheidung zuordnen, weil keine getroffen wurde.

Dazu kommt, dass in diesem Moment niemand weiß, wie groß die Sache ist. Beim geordneten Abschalten habe ich beschrieben, dass ein Agent ohne Nutzen niemandem auffällt. Hier liegt es umgekehrt. Angehalten werden soll ein Agent, der nützlich ist und in den meisten Vorgängen richtig liegt, wegen eines Verdachts über eine Teilmenge, die sich noch nicht beziffern lässt. Eine solche Entscheidung fällt unter Unkenntnis, und sie braucht eine Person mit Rückendeckung statt einer Runde.

Joe Atkinson, Global Chief AI Officer bei PwC, hat die Haftungsseite im September gegenüber Fortune benannt. John Kell gibt dort die Aussage wieder, „der Agent hat mich dazu gebracht" werde weder moralisch noch rechtlich als Verteidigung tragen. Im selben Artikel beschreibt Sam Curry, Chief Information Security Officer bei Zscaler, Agents als eine faktisch neue Form von Insider: nicht deterministisch, zur Initiative fähig. Beides zusammen ergibt eine unbequeme Lage. Für das Verhalten des Agents steht das eigene Haus ein, und niemand darin darf ihn aus dem Verkehr ziehen.

Zwischen Weiterlaufen und Aus liegt nichts

Ein Teil des Problems ist technischer Zuschnitt mit organisatorischer Wirkung. Die meisten Agents haben genau zwei Zustände. Sie laufen, oder sie sind aus. Damit ist die Frage am Nachmittag maximal teuer gestellt: alles weiter wie bisher, oder der Prozess steht.

Joey D'Antoni, Principal Consultant bei DCAC, hat Mitte September gegenüber David Ramel von Virtualization Review beschrieben, was ein Haus dafür braucht: einen Schalter, der einen Agent schnell stoppt, und einen Mechanismus, seine Handlungen zurückzunehmen. Dazu abgestufte Autonomie, die erst erweitert wird, wenn sich das Verhalten als vorhersehbar erwiesen hat. Ein Einwand daraus ist der nüchternste Satz, den ich zu diesem Thema gelesen habe: Automatisierung verstärkt den Prozess, den eine Organisation schon hat. Wer Chaos automatisiert, bekommt schnelleres Chaos.

In der Praxis zählt dabei weniger der harte Schalter als der Zwischengang. Ein Agent, der sich auf Vorschlagsbetrieb zurücknehmen lässt, also auf Lesen und Entwerfen ohne eigene Handlung, verlangt am Nachmittag keine schwere Entscheidung mehr. Der Prozess läuft weiter, langsamer und mit Prüfung, und die Organisation hat sich Zeit gekauft, um die eigentliche Frage zu beantworten. Diesen Zustand habe ich in kaum einer Freigabe gesehen, obwohl er beim Bau fast nichts kostet. Nachträglich kostet er Wochen.

Die zweite offene Frage richtet sich auf die Vergangenheit: Was hat der Agent seit Freitag in welchen Vorgängen getan? Wer darauf zwei Tage braucht, hält sicherheitshalber an oder sicherheitshalber nicht, und beides ist geraten.

Der Nachmittag startet eine Uhr

Dieser Nachmittag ist inzwischen zum Teil rechtlich getaktet, und das wird selten mitgedacht. Artikel 73 der KI-Verordnung verpflichtet die anbietende Seite von Hochrisiko-Systemen, schwerwiegende Vorfälle den Marktüberwachungsbehörden zu melden. Interessant für das eigene Haus ist Absatz 2: Die Frist von fünfzehn Tagen läuft ab dem Zeitpunkt, an dem „der Anbieter oder gegebenenfalls der Betreiber Kenntnis von diesem schwerwiegenden Vorfall erlangt hat".

Melden muss also die anbietende Seite, die Uhr startet aber auch mit dem Wissen im eigenen Haus. Damit wird der Dienstagnachmittag zu einem datierbaren Ereignis, und zwar zu einem, das heute niemand datiert. Wer gilt als das Haus: die Person in der Sachbearbeitung, die etwas gemeldet hat, oder die Runde am Abend, in der es zum ersten Mal zusammenlief? Über den Aufschub der Hochrisiko-Fristen habe ich geschrieben, dass eine Organisation ihr Risikourteil nun selbst fällen muss. Hier liegt derselbe Fall eine Ebene tiefer. Ab wann das eigene Haus etwas weiß, bestimmt es faktisch selbst, und es bestimmt es im Nachhinein.

Was vor den Nachmittag gehört

Ein Krisenhandbuch braucht dafür niemand. Zwei Festlegungen genügen.

Die erste ist ein stehendes Recht, anzuhalten. Eine benannte, erreichbare Rolle darf jeden Agent ohne vorherige Rückfrage auf Vorschlagsbetrieb zurücknehmen. Der Grund dafür liegt in der Umkehrbarkeit. Eine Rücknahme lässt sich am nächsten Morgen aufheben, das Weiterlaufen nicht, und deshalb gehört das Recht auf die zurücknehmende Seite. Daraus folgt der unbequemere Teil: Eine Rücknahme, die sich als unnötig erweist, muss für diese Rolle folgenlos bleiben. Beim Menschen, der immer zustimmt habe ich argumentiert, dass eine Kontrolle ohne ausgestattetes Nein von allein zur Zustimmung wird. Im Vorfall wirkt dieselbe Mechanik schneller und unter Zeitdruck.

Die zweite ist eine Zeile in der Freigabe, die dort heute fehlt. Wer hält diesen Agent an, wie wird er zurückgenommen, und wer erfährt davon. Ob die Antwort trägt, lässt sich nur auf eine Art herausfinden. Man nimmt einen laufenden Agent und hält ihn absichtlich an, an einem ruhigen Vormittag, mit Ankündigung. Auffallen wird dabei vor allem eine organisatorische Frage: wen man dafür eigentlich fragen muss.

Nach einem Vorfall gibt es in Organisationen eine Aufarbeitung, und dort fällt immer dieselbe Frage: Wer hätte das stoppen können? Die ehrlichste Antwort lautet in vielen Häusern, dass es alle hätten ansprechen können und niemand hätte entscheiden dürfen. Das ist kein Befund über die Menschen in diesen Häusern. Es ist einer über die Freigabe, die sie unterschrieben haben, denn sie hat eine Erlaubnis erteilt und keine für deren Rücknahme.