Bis vor einer Woche war das eine Entweder-oder-Frage, und beide Antworten waren schlecht.
Wer nicht wollte, dass die eigenen Texte in KI-Modelle einfliessen, musste die Crawler aussperren, die sie holen. Nur holen Googlebot, Bingbot und Applebot beides zugleich — Material für die Suche und Material für das Training. Wer sie aussperrte, verschwand aus der Suche.
Cloudflare hat am 15. September eine Einstellung eingeführt, die das trennt. Sie heisst «Disallow AI Training», liegt in den Sicherheitseinstellungen der jeweiligen Domain, und sie ist in allen Tarifen verfügbar, auch im kostenlosen.
Wie es funktioniert — und was es nicht ist
Hier lohnt der genaue Blick, weil die Erwartung sonst falsch ist.
Cloudflare schreibt es selbst: Die Einstellung wirkt, indem sie eine Präferenz in der robots.txt veröffentlicht. Also eine Erklärung, keine Sperre. Es steht danach in einer Datei auf Ihrem Server, dass Sie kein Training wünschen — und ob das eingehalten wird, hängt daran, dass der Abholende sich daran hält.
Das ist kein Mangel, sondern der Kern der Sache. Reine Trainings-Crawler blockiert Cloudflare schon länger technisch. Bei den Mehrzweck-Crawlern der grossen Anbieter geht das nicht, ohne die Suche mitzunehmen — und deshalb ist eine Zusage hier der einzige gangbare Weg.
Cloudflare hat dafür eine Einstufung geschaffen: «Accountable». Wer sie tragen will, muss vier Dinge bieten — ein Opt-out fürs Training, ein Opt-out für KI-Zusammenfassungen, Transparenz und Messwerte auf Ebene der einzelnen Adresse, und die Zusicherung, dass das Training-Opt-out die Suchergebnisse nicht verschlechtert.
Apple, Google und Microsoft erfüllen das oder haben es mit Frist zugesagt. Microsoft allerdings erst Anfang 2027 — bis dahin bleibt es dort beim Alten.
Wir haben uns andersherum entschieden
Und jetzt der Teil, bei dem wir uns selbst in die Karten sehen lassen.
Unsere eigene Seite liegt nicht hinter Cloudflare, wir könnten die Einstellung also gar nicht setzen. Wichtiger ist aber, dass wir sie auch nicht setzen wollten: Unsere robots.txt erlaubt die KI-Crawler ausdrücklich, jedem einen eigenen Eintrag, dazu zwei Dateien, die den Inhalt der Website maschinenlesbar zusammenfassen.
Das war eine bewusste Entscheidung. Die Überlegung dahinter: Wenn Leute ihre Fragen künftig einem KI-System stellen statt einer Suchmaschine, wollen wir in diesen Antworten vorkommen.
Nach einigen Monaten lässt sich sagen, was das gebracht hat. Wir messen es täglich.
Die Rechnung, gemessen statt vermutet
In den letzten zehn Tagen, aus unserem eigenen Serverlog:
3295 Abrufe durch Trainings- und Index-Crawler. Das ist die Seite, die Kosten verursacht — Rechenzeit, Übertragung, Last.
169 nutzer-initiierte Abrufe. Das sind die interessanten: Abrufe, die entstehen, während ein KI-System gerade eine Frage beantwortet und dafür jetzt eine Seite liest. Das ist der Moment, in dem cyberdine.ch tatsächlich in einer Antwort auftaucht.
Null Besucher. Kein einziger Mensch ist in diesen zehn Tagen über eine KI-Oberfläche auf unsere Seite gekommen.
Diese Null haben wir nicht dem Tageswert entnommen, sondern über alle zehn vorhandenen Logarchive nachgerechnet — weil wir sie selbst nicht glauben wollten. Sie stimmt.
Was man daraus schliessen kann — und was nicht
Der naheliegende Schluss wäre: Dann sperren wir sie eben aus. So einfach ist es nicht.
Dagegen spricht: Erwähnt zu werden ist nicht dasselbe wie Besuch zu bekommen. Wer in einer Antwort als Quelle genannt wird, hinterlässt einen Namen, auch ohne Klick — und dieselbe Entwicklung haben wir bei Google schon gemessen, wo eine gute Platzierung längst keinen Besuch mehr garantiert. Wer sich heraushält, ist in diesen Antworten gar nicht erst vorhanden.
Dafür spricht: 3295 zu 0 ist ein Verhältnis, das man nicht schönreden muss. Wer für die Übertragung zahlt, zahlt hier für nichts Messbares.
Unsere Haltung dazu ist ehrlicherweise noch nicht abgeschlossen. Was wir aber sagen können: Diese Frage sollte man nicht aus dem Bauch beantworten, sondern aus dem Log. Die Zahlen stehen bei jedem im eigenen Zugriffsprotokoll — es sieht nur selten jemand nach.
Was zu tun ist
Wenn Sie Cloudflare nutzen, finden Sie die Einstellung in den Sicherheitseinstellungen der Domain. Sie kostet nichts, auch nicht im kostenlosen Tarif, und sie kostet Sie keine Sichtbarkeit in der Suche.
Bevor Sie sie setzen, sehen Sie nach, was die KI-Crawler bei Ihnen bisher angerichtet haben — an Last und an Besuchern. Beides steht im Zugriffsprotokoll Ihres Servers.
Und wenn Sie den Unterschied zwischen «wird gelesen» und «bringt Besuch» bei sich messen wollen: Genau dafür haben wir uns eine Auswertung gebaut, und sie kostet keine kostenpflichtige Abfrage, sondern liest nur das Log. Melden Sie sich, wenn Sie so etwas brauchen.