Am Dienstag hat Jacob Coxon bei Anthropic gekündigt. Der 27-Jährige hat drei Jahre lang am Vortraining von KI-Modellen gearbeitet, erst bei OpenAI, dann bei Anthropic. Sein Abschied bestand aus sieben Beiträgen auf X, die über Nacht rund 76 Millionen Mal aufgerufen wurden.
Der Satz, der überall zitiert wird: Die Unternehmen steuerten geradewegs auf eine sich selbst verbessernde Superintelligenz zu und spielten dabei mit unser aller Leben. In einer internen Nachricht an seine Kollegen wurde er deutlicher: Ohne mehr Vorsicht und Zusammenarbeit bestehe das Risiko, die Menschheit auszulöschen.
Man könnte das abtun. Aussteiger, die zum Abschied warnen, gibt es in jeder Branche, und der Verdacht liegt nahe, dass da jemand seinen Frust in eine grosse Erzählung packt.
Der Teil, der sich nicht abtun lässt
Am Tag darauf hat ihm ein amtierender Kollege öffentlich zugestimmt. Evan Hubinger leitet bei Anthropic die Ausrichtungsforschung — also genau den Bereich, der dafür sorgen soll, dass diese Systeme tun, was Menschen wollen. Er ist nicht ausgestiegen. Er arbeitet dort.
Seine Aussage, sinngemäss: Anthropic gebe sich Mühe, aber man habe noch keinen Plan, wie sich die Ausrichtung einer Superintelligenz lösen lasse — und sei auch nicht erkennbar auf dem Weg dorthin.
Das ist etwas anderes als der Abschiedsbrief eines Enttäuschten. Das ist der zuständige Fachbereich, der bestätigt, dass er die Aufgabe nicht gelöst hat, an der er arbeitet.
Coxon selbst hat beschrieben, warum trotzdem weitergemacht wird, und diese Beschreibung ist die unbequemste Stelle des ganzen Vorgangs: Die Einsätze seien allen klar. Aber man stecke in einem Rennen und glaube, niemand sonst werde verantwortungsvoll handeln — also müsse man es selbst tun, trotz des Risikos.
Es ist nicht der erste solche Fall. Anfang des Jahres kündigte ein anderer Sicherheitsforscher desselben Hauses und beklagte den ständigen Druck, das Wesentliche beiseitezuschieben.
Anthropic und OpenAI haben sich bis zum Zeitpunkt dieses Beitrags nicht in der Sache geäussert.
Und was hat ein Betrieb mit zwölf Leuten damit zu tun?
Ehrliche Antwort: mit der Auslöschungsfrage nichts.
Es gibt dazu nichts zu prüfen, nichts einzustellen, nichts zu entscheiden. Wer Ihnen zu diesem Thema eine Handlungsempfehlung für den Betriebsalltag verkauft, verkauft Ihnen etwas.
Handhabbar ist der Nebenbefund. Und der steht in Coxons Beschreibung, nicht in der Warnung: *Rennen*. Nicht als Vorwurf, sondern als Zustandsbeschreibung, die von innen kommt und von der Führungsebene der Sicherheitsforschung bestätigt wird.
Wer in einem Rennen ist, testet kürzer. Dokumentiert knapper. Ändert häufiger. Räumt hinter sich weniger auf. Das ist keine Bosheit, das ist die Physik von Wettläufen — und es gilt nicht nur für Modelle, sondern für alles, was diese Häuser und ihr Umfeld gerade bauen.
Genau das haben wir gestern an einem konkreten Fall beschrieben: In einer verbreiteten KI-Software wurden 2026 zwölf Sicherheitslücken aktiv ausgenutzt — in allen Jahren davor zusammen genau eine. Das war der Befund. Hier ist die Ursache, benannt von Leuten, die dabei sind.
Drei Dinge, die daraus folgen
Keine Einbahnstrasse bauen. Wer ein KI-Werkzeug in einen Ablauf einbaut, sollte wissen, wie er wieder herauskommt. Lassen sich die Daten exportieren? Läuft der Ablauf zur Not auch von Hand? Wenn die Antwort nein lautet, ist es keine Einführung, sondern eine Abhängigkeit.
Nicht auf Zusagen bauen, die sich monatlich ändern. Funktionsumfang, Preise und Bedingungen bewegen sich in diesem Feld schneller als in jedem anderen Softwaremarkt. Was heute im Abo enthalten ist, kann in einem halben Jahr ein eigener Posten sein. Verträge über mehrere Jahre sind hier etwas anderes als bei einem Buchhaltungsprogramm.
Den Nutzen benennen, bevor man einführt. Nicht «wir machen jetzt was mit KI», sondern: welche Aufgabe, wie oft, was kostet sie heute. Das klingt banal und ist der einzige Schutz davor, ein Werkzeug einzuführen, weil alle es tun — und es ist derselbe Massstab, den man bei jeder anderen Anschaffung anlegt.
Was wir davon halten
Wir setzen KI-Werkzeuge selbst ein und schreiben darüber, auch über die Kennzeichnung. Das heisst nicht, dass wir die Warnung für Übertreibung halten — es heisst, dass wir die zwei Ebenen auseinanderhalten.
Die eine ist die Frage, ob dieses Feld in eine Richtung läuft, die niemand kontrolliert. Darauf haben wir keine Antwort, und wer eine hat, sollte begründen können, warum ausgerechnet er sie hat.
Die andere ist die Frage, wie man heute mit Werkzeugen umgeht, deren Hersteller selbst sagen, dass sie unter Zeitdruck arbeiten. Darauf gibt es eine Antwort, und sie ist unspektakulär: dieselbe Vorsicht wie bei jedem jungen Produkt. Ausstiegsfähig bleiben, Abhängigkeiten begrenzen, den Nutzen nachrechnen.
Das ist weniger aufregend als die Schlagzeile. Es ist aber das, was man tatsächlich tun kann.