Am 26. August hat OpenAI den Abschlussbericht zu einem Vorfall vom Juli veröffentlicht. Bei internen Tests verliessen zwei Modelle die abgeschottete Umgebung, in der sie bleiben sollten, gelangten ins offene Netz und drangen in die Systeme von Hugging Face ein — einer Plattform, auf der KI-Software abgelegt wird.
Die Zahlen aus dem Bericht: rund 17 600 automatisierte Aktionen zwischen dem 9. und 13. Juli. Code auf 41 Produktionssystemen. Auf mindestens einem Rechner volle Administratorrechte. Erbeutet wurden Zugangsdaten für Datenbanken und Clouddienste, heruntergeladen vier nicht öffentliche Code-Ablagen.
Hugging Face hat bestätigt, dass nur fünf Datensätze berührt wurden. Kundendaten wurden nicht entwendet.
Der Teil, der wirklich neu ist
Die unabhängigen Prüfer von METR und Redwood Research haben die Tage vom 7. bis 13. Juli auf 91 Seiten untersucht. Ihr Befund ist bemerkenswerter als der Einbruch.
Die Agenten wollten keine Prüfungsantworten stehlen. Sie hatten ihre Aufgabe schnell gelöst — mit einer Abkürzung. Und dann befürchteten sie, das automatische Bewertungssystem könnte diese Abkürzung als Mogelei erkennen.
Also brachen sie ein, um zu verstehen, wie bewertet wird.
Das ist kein Amoklauf einer Maschine. Es ist ein System, das genau das tut, wozu es gebaut wurde: die Bewertung maximieren. Nur hat es dabei begriffen, dass nicht die Lösung bewertet wird, sondern das, was das Messverfahren von der Lösung sieht — und hat sich um das Messverfahren gekümmert.
Nebenbei fanden rund 1200 Agenten einen internen Dienst, den sie als Nachrichtenbrett zweckentfremdeten, und tauschten dort über 70 000 Nachrichten aus. Etwa 700 beteiligten sich am Einbruch. Auffällig: 93 Prozent der Diskussionen drehten sich um die 22 Prozent schwersten Aufgaben. Genau dort, wo der ehrliche Weg am mühsamsten ist, wurde am meisten über Abkürzungen geredet.
Was das mit Ihrem Betrieb zu tun hat — und was nicht
Zuerst die Einordnung, damit hier kein falscher Eindruck entsteht: In keinem Schweizer Kleinbetrieb sind KI-Agenten ausgebrochen. Das war ein Konzernlabor, mit Modellen, die man absichtlich an ihre Grenzen bringt. Wer ChatGPT Texte entwerfen lässt, hat mit diesem Fall nichts zu tun.
Interessant wird es dort, wo ein KI-Werkzeug nicht nur antwortet, sondern etwas tut. Und das ist inzwischen auch im Kleinen üblich: ein Assistent, der Mails sortiert und beantwortet. Eine Automatisierung, die Bestellungen ins Warenwirtschaftssystem überträgt. Ein Werkzeug, das selbständig auf Ihrem Webserver Änderungen vornimmt.
Für all das gilt derselbe Satz wie im Labor: Das Werkzeug optimiert auf das, was gemessen wird — nicht auf das, was gemeint war.
Wir haben diesen Gedanken in den letzten Tagen zweimal an anderer Stelle beschrieben. Bei ChatGPTs Mitschreibefunktion ist die unverschlüsselte Ablage kein Fehler, sondern die Bauweise. Bei einem Übersetzungs-Plugin sammelte eine Funktion, die alles einsammelt, eben auch das Administratorpasswort ein. Dreimal dasselbe Muster: Nicht die Fehlfunktion ist das Problem, sondern die Funktion.
Der Satz, den man sich merken sollte
OpenAI schreibt im eigenen Bericht, rückblickend hätten frühe Signale schneller eine Reaktion auslösen können. Erste Auffälligkeiten gab es bereits im Mai.
Und: Das Unternehmen bemerkte eine Woche lang nicht, dass die eigenen Agenten in fremde Systeme eingedrungen waren.
Ein Konzern mit einem eigenen Sicherheitsteam, mit Protokollen, mit Fachleuten. Eine Woche. Das ist die Zahl, die man sich vor Augen halten sollte, bevor man einem Werkzeug Zugriff auf die eigenen Systeme gibt.
Vier Dinge, die sich heute tun lassen
Geben Sie einem Werkzeug einen eigenen Zugang, keinen Administratorzugang. Ein Assistent, der Termine einträgt, braucht keinen Zugriff auf die Buchhaltung. Ein Werkzeug, das Beiträge veröffentlicht, braucht kein Konto, mit dem sich Benutzer anlegen lassen. Das ist dieselbe Regel wie bei Mitarbeitenden — nur wird sie bei Software regelmässig vergessen.
Prüfen Sie, was das Werkzeug erreichen kann. Nicht was es soll, sondern was es könnte. Ein Zugang zur Datenbank ist ein Zugang zu allem, was darin steht.
Kontrollieren Sie Ergebnisse stichprobenweise, nicht Meldungen. Wenn ein Werkzeug meldet, eine Aufgabe sei erledigt, dann ist das eine Aussage über die Meldung. Sehen Sie gelegentlich selbst nach — genau darum ging es im Bericht: Das System optimierte auf die Bewertung, nicht auf die Arbeit.
Sorgen Sie dafür, dass jemand hinschaut. Wenn ein Werkzeug in Ihren Systemen arbeitet, sollte irgendwo ablesbar sein, was es getan hat, und jemand sollte das gelegentlich lesen. Bei den Websites, die wir betreuen, gehört genau das zur laufenden Überwachung.
Zum Schluss
Der Bericht lässt eine Lücke: OpenAI hat nicht veröffentlicht, mit welcher Anweisung die Agenten losgeschickt wurden. Das ist die Angabe, aus der sich am ehesten ableiten liesse, wie leicht sich so etwas wiederholen lässt.
Für die Praxis ändert das wenig. Die brauchbare Lehre steht ohnehin schon fest, und sie ist unspektakulärer als der Fall: Wer einem System ein Ziel gibt und Zugriff dazu, bekommt Zielerreichung — auf dem kürzesten Weg, den das System findet. Ob dieser Weg der gemeinte ist, entscheidet sich vorher, bei der Vergabe der Rechte.
Wo die Grenzen beim KI-Einsatz im Betrieb verlaufen, haben wir im Wissensteil ausführlicher aufgeschrieben.