KI-Crawler mit der robots.txt blockieren (und wann besser nicht)

Die meisten Website-Betreiber, die KI-Crawler blockieren wollen, wünschen sich eines: dass KI-Unternehmen nicht mit ihren Inhalten trainieren. Viele tun am Ende aus Versehen etwas anderes, etwa aus der ChatGPT-Suche zu verschwinden oder gar nichts zu blockieren, weil sie einen Bot-Namen nutzten, der vor zwei Jahren eingestellt wurde. Diese Anleitung erklärt, welche Crawler es gibt, was jeder steuert, welche Regeln du kopieren kannst und was die robots.txt schlicht nicht leisten kann.

Prüfe vor jeder Änderung, wo du stehst: Der kostenlose AI Crawler Access Checker liest deine robots.txt und zeigt, welche KI-Bots erlaubt oder gesperrt sind und warum.

Warum „KI-Crawler blockieren“ in Wahrheit drei Entscheidungen sind

KI-Unternehmen nutzen nicht mehr je einen Bot. Seit Ende 2024 teilen die großen ihre Crawler nach Zweck auf, und jeder Name braucht in der robots.txt eine eigene Zeile:

Anzeige

Unternehmen	Training	Suche und Zitate	Auf Nutzeranfrage
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User
Perplexity	(keiner)	PerplexityBot	Perplexity-User
Google	Google-Extended	Googlebot
Apple	Applebot-Extended	Applebot
Meta	meta-externalagent		meta-externalfetcher

Die eigentlichen Fragen lauten also:

1. Training: Dürfen KI-Unternehmen deine Seiten nutzen, um künftige Modelle zu bauen? Das zu sperren hat keinen Einfluss auf den Suchverkehr.
2. KI-Suche: Dürfen ChatGPT, Claude, Perplexity und Siri deine Seiten finden und zitieren? Das zu sperren nimmt dich aus ihren Antworten und aus den Besuchern, die diese Zitate schicken.
3. Nutzer-Abrufe: Darf ein Assistent deine Seite öffnen, wenn jemand deinen Link einfügt? Das zu sperren ärgert meist nur deine eigenen Leser.

Für die meisten Blogs, Shops und Tool-Websites lautet die sinnvolle Antwort nein, ja, ja: Training sperren, Suche behalten. Wenn du die Inhalte selbst verkaufst (Journalismus hinter der Paywall, Forschung, Stockfotos), ist es eine vernünftige Geschäftsentscheidung, alles zu sperren. Triff sie nur bewusst.

Die robots.txt-Regeln zum Kopieren

Dieser Block stoppt die wichtigsten Trainings-Crawler und lässt Suche und Nutzer-Abrufe in Ruhe. Füge ihn am Ende deiner robots.txt unter deinen bestehenden Regeln ein (neu beim Dateiformat? Nutze den Robots.txt-Generator):

# Block AI training
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
User-agent: Amazonbot
User-agent: cohere-training-data-crawler
Disallow: /

Mehrere User-agent-Zeilen über einem Disallow zu stapeln ist zulässig: Sie bilden eine Gruppe, und jeder darin genannte Crawler befolgt die Regel.

Um jeden KI-Crawler zu blockieren, einschließlich Suche, füge die Namen für Suche und Nutzer-Abrufe derselben Gruppe hinzu: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User und meta-externalfetcher. Füge Googlebot oder Bingbot nicht hinzu, außer du willst Google und Bing ganz verlassen.

Unter WordPress brauchst du kein FTP. Yoast SEO hat einen robots.txt-Editor unter Yoast SEO → Werkzeuge → Datei-Editor, und Rank Math hat einen unter Allgemeine Einstellungen → robots.txt bearbeiten. Erscheint keiner von beiden, erzeugt WordPress eine virtuelle robots.txt, und du kannst über den Dateimanager deines Hosters eine echte Datei im Stammordner deiner Website anlegen.

Drei Fehler, die die Regeln unbemerkt aushebeln

1. Die eigene Gruppe eines Crawlers hebt deine allgemeinen Regeln auf

Das trifft viele. Ein Crawler befolgt nur die spezifischste Gruppe, die ihn nennt. Lautet deine Datei

User-agent: *
Disallow: /wp-admin/
Disallow: /checkout/

User-agent: OAI-SearchBot
Allow: /

ignoriert OAI-SearchBot die erste Gruppe vollständig und darf /wp-admin/ und /checkout/ crawlen. Gibst du einem Crawler eine eigene Gruppe, wiederhole darin die Disallow-Zeilen, die du weiter willst. Der Checker warnt davor, und sein Regel-Builder kopiert deine privaten Pfade für dich in jede Gruppe.

2. Veraltete Namen

Viele Copy-Paste-Listen sperren noch anthropic-ai und Claude-Web. Anthropic nutzt beides nicht mehr, diese Zeilen steuern also nichts, und Websites, die sich darauf verlassen, sperren ClaudeBot gar nicht.

3. Die Suche sperren, das Training erlauben

Wir sehen regelmäßig Dateien, die OAI-SearchBot oder PerplexityBot „zur Sicherheit“ sperren, GPTBot aber nie erwähnen. Das Ergebnis ist das Schlechteste aus beiden Welten: raus aus den ChatGPT-Suchergebnissen, aber weiter fürs Training verfügbar.

Was die robots.txt nicht kann

Das ist der Teil, den die meisten Anleitungen überspringen. Die robots.txt ist eine öffentliche Bitte. Sie funktioniert, weil seriöse Unternehmen sich entscheiden, sie zu beachten, und sie hat echte Grenzen:

• Sie wird nicht durchgesetzt. OpenAI, Anthropic, Google und Apple sagen, dass ihre Crawler sie befolgen. Bei Bytespider wurde wiederholt berichtet, dass er sie ignoriert, und jeder Scraper kann sich als normaler Browser ausgeben.
• Nutzer-Abrufe sind eine Grauzone. Perplexity sagt, dass Perplexity-User die robots.txt im Allgemeinen ignoriert, OpenAI sagt, robots.txt-Regeln gelten womöglich nicht für ChatGPT-User, und Meta sagt dasselbe über meta-externalfetcher. Ihr Argument: Ein Mensch, kein Crawler, hat die Seite angefordert.
• Sie wirkt nicht rückwirkend. GPTBot heute zu sperren entfernt weder bereits gesammelte Seiten noch bereits trainierte Modelle. Common-Crawl-Archive reichen mehr als ein Jahrzehnt zurück.
• Sie kann die Google-Suche nicht von KI-Übersichten trennen. Beide nutzen Googlebot. Google-Extended deckt nur Training und Fundierung von Gemini ab. Der einzige Weg, eine Seite aus KI-Übersichten herauszuhalten, ist nosnippet (oder noindex), was auch ihr Snippet aus normalen Ergebnissen entfernt. Für die meisten Websites lohnt dieser Tausch nicht.
• noai- und noimageai-Tags sind Wunschdenken. Diese Meta-Tags sind nicht Teil eines Standards, und keines der großen KI-Unternehmen hat gesagt, dass es sie befolgt. Sie hinzuzufügen schadet nicht, aber verlass dich nicht darauf.

Wenn das Sperren dir wirklich wichtig ist, füge zusätzlich eine Sperre auf Netzwerkebene hinzu. Cloudflare kann bekannte KI-Crawler in allen Tarifen blockieren und prüft die echten IP-Adressen verifizierter Bots, was die robots.txt nicht kann. Sicherheits-Plugins wie Wordfence können nach User-Agent sperren. Beachte, dass diese Werkzeuge in beide Richtungen wirken: Cloudflare blockiert KI-Crawler inzwischen bei vielen neuen Domains standardmäßig, sodass eine Website KI-Suchbots aussperren kann, die der Betreiber zulassen wollte, während seine robots.txt weiter „erlaubt“ sagt. Der Firewall-Test des Checkers vergleicht die Antwort, die deine Startseite einem Browser gibt, mit der, die sie GPTBot und ClaudeBot gibt, und erkennt genau das.

Content Signals und llms.txt: lohnt sich das?

Cloudflares Content-Signals-Policy fügt der robots.txt eine Zeile wie Content-Signal: search=yes, ai-input=yes, ai-train=no hinzu. Sie legt fest, wie du Inhalte nach dem Abruf genutzt sehen willst: für die Suche, als Eingabe für KI-Antworten oder fürs Training. Das ist eine klare Willenserklärung und kostet nichts, aber kein Crawler ist verpflichtet, sie zu befolgen, und große KI-Unternehmen haben nicht öffentlich gesagt, dass sie es tun. Füge sie hinzu, wenn du magst; sieh sie nicht als Schutz.

llms.txt geht den umgekehrten Weg: Statt KI fernzuhalten, weist sie Assistenten auf deine besten Seiten hin. Die Übernahme durch KI-Unternehmen ist noch unklar, sieh sie also als günstig und optional, nicht als Ranking-Hebel.

So prüfst du, ob es funktioniert hat

1. Öffne deineseite.de/robots.txt in einem privaten Browserfenster. Siehst du noch deine alte Datei, leere dein Cache-Plugin oder den CDN-Cache. Siehst du eine Webseite statt Klartext, ist deine robots.txt nicht richtig eingerichtet.
2. Starte den AI Crawler Access Checker. Trainings-Zeilen sollten Gesperrt zeigen, Such-Zeilen Erlaubt, und die Hinweise sollten frei von Warnungen sein.
3. Teste im Pfadfeld einen privaten Pfad wie /wp-admin/, um sicherzugehen, dass die erlaubten Crawler ihn weiterhin nicht öffnen können.
4. Gib dem Ganzen einen Tag. OpenAI und Perplexity sagen, dass Änderungen etwa 24 Stunden brauchen, bis sie ihre Crawler erreichen, und andere lesen die robots.txt nach eigenem Rhythmus neu.
5. Hast du Server-Logs, suche nach einer Woche nach den Crawler-Namen. Zugriffe auf gesperrte Pfade von einem Namen, der behauptet, die robots.txt zu befolgen, bedeuten meist, dass jemand diesen Namen fälscht.

Die Kurzfassung

Um KI-Crawler am Training zu hindern und trotzdem in der KI-Suche sichtbar zu bleiben, sperre GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, CCBot und Bytespider und lass OAI-SearchBot, Claude-SearchBot und PerplexityBot in Ruhe. Nutze keine veralteten Namen, vergiss nicht, dass die eigene Gruppe eines Crawlers deine allgemeinen Regeln überschreibt, und erwarte nicht, dass die robots.txt jemanden aufhält, der sie ignorieren will. Wenn das wichtig ist, sichere es mit einer Firewall-Regel ab.

Prüfe deine Website jetzt: Der AI Crawler Access Checker zeigt den Zugriff jedes KI-Crawlers in Sekunden und erstellt korrigierte Regeln, die du direkt in deine robots.txt einfügen kannst.