Wer heute nicht will, dass die eigenen Texte in KI-Modelle einfliessen, muss jeden Anbieter einzeln kennen. Jeder schickt seine eigenen Abholprogramme mit eigenem Namen, und für jeden braucht es einen eigenen Eintrag in der robots.txt, der Datei, in der eine Website festhält, was Suchmaschinen und andere Programme dürfen. Unsere eigene ist inzwischen 99 Zeilen lang, obwohl wir allen alles erlauben.
Was Google angekündigt hat
Am 30. Oktober hat Google angekündigt, ab 2027 einen gemeinsamen Eintrag zu beachten, zusammen mit anderen KI-Anbietern, die Google nicht nennt. Grundlage ist ein Entwurf bei der IETF, dem Gremium, das die Regeln des Internets abstimmt. Eingereicht hat ihn ein Mitarbeiter von Anthropic, ebenfalls am 30. Oktober.
Der Eintrag ist kurz:
User-Agent: __usage_ai-training
Disallow: /
Damit sagt eine Website: Meine Inhalte bitte nicht zum Trainieren von KI-Modellen verwenden. Einzelne Bereiche lassen sich mit Allow wieder freigeben.
Was der Eintrag nicht ist
Er ist keine Sperre. Die Programme dürfen die Seiten weiterhin abrufen. Der Eintrag sagt nur, wofür die Inhalte nicht verwendet werden sollen. Ob sich jemand daran hält, liegt beim Anbieter. Das war beim Schalter von Cloudflare im September genauso.
Er gilt nur fürs Training. Gemeint ist laut Entwurf, dass ein Modell aus den Inhalten lernt. Wenn ein KI-System eine Seite liest, um eine Frage zu beantworten, ist das kein Training.
Ein Sternchen reicht nicht. Die bekannte Regel für alle Programme, User-Agent mit Sternchen, gilt für diesen Eintrag ausdrücklich nicht. Man muss ihn bewusst setzen.
Der Haken bei Google
Google hat einen eigenen Schalter namens Google-Extended. Er hat keinen Einfluss auf die normale Google-Suche, entscheidet aber, ob Gemini die Inhalte verwenden darf.
Nach der Ankündigung gilt: Wer mit dem neuen Eintrag das Training ablehnt und Google-Extended nicht ausdrücklich erwähnt, wird so behandelt, als hätte er Google-Extended gesperrt. Und nur wer Google-Extended ausdrücklich erlaubt, kann laut Google in den Antworten der Gemini-App mit einem Link erscheinen.
Wer also kein Training will, aber in Gemini-Antworten vorkommen möchte, braucht zwei Einträge: einen, der das Training ablehnt, und einen, der Google-Extended ausdrücklich erlaubt. Ob Google dann wirklich nur antwortet und nicht trainiert, muss man Google glauben.
Was die KI-Systeme uns bringen, nachgezählt
Im September haben wir geschrieben, dass in zehn Tagen kein einziger Besucher über eine KI-Oberfläche auf unsere Website gekommen ist. Wir haben am 2. November nachgezählt, wieder über zehn Tage.
3190 Abrufe durch Programme, die Inhalte für Training und Suchindex sammeln.
84 Abrufe durch KI-Systeme, die gerade eine Frage beantworteten und dafür eine unserer Seiten lasen.
12 Besucher, die von einer KI-Oberfläche auf die Website kamen, elf davon von ChatGPT.
Aus null sind zwölf geworden. Das ist wenig, aber es ist nicht mehr nichts. An unserer Entscheidung, die KI-Programme zuzulassen, ändert die Ankündigung deshalb vorerst nichts.
Was jetzt zu tun ist
Nichts überstürzen. Der Eintrag wirkt frühestens 2027, und der Entwurf ist noch kein Standard.
Die Frage aber jetzt klären. Will der Betrieb in KI-Antworten vorkommen, oder will er seine Texte schützen? Beides hat Gründe. Wer Fachtexte, Anleitungen oder Preise veröffentlicht, entscheidet anders als jemand, der vor allem gefunden werden will.
Bei der Agentur nachfragen. Was steht heute in unserer robots.txt, und wer hat es entschieden? Manchmal stammt der Inhalt aus einem Plugin oder einer Vorlage, und entschieden hat ihn niemand.