KI-Crawler-Checker

Was dieser KI-Crawler-Checker kann

Dieser KI-Crawler-Checker zeigt dir, welche KI-Bots deine Website lesen dürfen und welche gesperrt sind. Gib eine Domain ein, und er liest deine robots.txt und zeigt das Ergebnis für 32 Crawler von OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Amazon, ByteDance, Common Crawl und anderen. Für jeden Crawler siehst du die genaue Regel und die Zeilennummer, die entscheidet, damit du weißt, was du ändern musst, und nicht nur, was falsch ist.

Die Crawler sind nach ihrer Aufgabe gruppiert, weil ihre Sperrung sehr unterschiedliche Folgen hat:

• KI-Suche und Antworten (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot): Sie entscheiden, ob ChatGPT, Claude, Perplexity und Siri deine Seiten finden und zitieren können. Sperrst du sie, verschwindest du aus diesen Antworten.
• KI-Training (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider und mehr): Sie sammeln Seiten, die zum Training von Modellen genutzt werden können. Sie zu sperren hat keinen Einfluss auf deine Suchrankings.
• Abrufe auf Wunsch eines Nutzers (ChatGPT-User, Claude-User, Perplexity-User): ein Assistent öffnet deine Seite, weil jemand den Link eingefügt oder danach gefragt hat.

So funktioniert es

1. Eine Website prüfen. Gib deine Domain ein, zum Beispiel example.com, und drücke Zugriff prüfen. Für eine einzelne Seite füge stattdessen ihre vollständige URL ein.
2. Die Zusammenfassung lesen. Die drei Kacheln zeigen, wie viele Such-, Trainings- und Nutzer-Abruf-Crawler erlaubt sind. Das Feld darunter listet deine robots.txt, ob du eine llms.txt hast, eventuelle noindex-, nosnippet- oder noai-Tags auf der Startseite und einen Firewall-Test.
3. Die Hinweise ansehen. Der Checker benennt häufige Fehler in einfachen Worten: einen Crawler mit eigener Gruppe, der deine User-agent: *-Regeln stillschweigend ignoriert, die Sperre von ChatGPT-Suche bei erlaubtem OpenAI-Training, veraltete Namen wie anthropic-ai und robots.txt-Dateien, die in Wahrheit HTML-Seiten sind.
4. Einen Pfad testen. Gib einen beliebigen Pfad ein, etwa /blog/ oder /wp-admin/, um zu sehen, welche Crawler ihn öffnen dürfen. Klicke auf eine Zeilennummer, um zu dieser Zeile in deiner Datei zu springen.
5. Beheben. Drücke Beheben: Regeln erstellen. Wähle eine Richtlinie, passe einzelne Crawler an und kopiere eine vollständige robots.txt, die deine bestehenden Regeln und Sitemaps behält. Mit Testen prüfst du die neue Datei, bevor du sie hochlädst.

Noch keine Live-Website oder hinter einem Login? Nutze den Tab robots.txt einfügen. Füge die Datei ein oder lade sie hoch, und die Ergebnisse aktualisieren sich beim Tippen, ohne dass etwas deinen Browser verlässt.

Was der Firewall-Test zeigt

Die robots.txt ist eine Bitte, kein Schloss. Viele Websites sperren KI-Bots außerdem auf Server- oder CDN-Ebene, manchmal ohne dass der Betreiber es weiß, weil ein Sicherheits-Plugin oder eine Cloudflare-Einstellung es getan hat. Der Checker ruft deine Startseite dreimal ab: als normaler Browser, als GPTBot und als ClaudeBot. Erhalten die Crawler-Versionen einen 403-Fehler oder eine Challenge-Seite, während der Browser durchkommt, sperrt etwas KI-Crawler beim Namen, egal was in deiner robots.txt steht.

Der Test erkennt nur Sperren anhand des User-Agent-Namens. Regeln, die die echte IP-Adresse des Crawlers prüfen, etwa die Sperre verifizierter Bots bei Cloudflare, lassen sich von außen nicht erkennen, ein sauberes Ergebnis schließt sie also nicht aus.

Was die Ergebnisse nicht sagen können

Ehrliche Grenzen, damit du in ein grünes Ergebnis nicht mehr hineinliest, als es bedeutet:

• Ein „erlaubter“ Crawler kommt womöglich trotzdem nie vorbei. Erlaubt zu sein macht dich zulässig, aber niemand muss dich crawlen.
• Nicht jeder Crawler befolgt die robots.txt. Die Spalte Befolgt robots.txt sagt das dort, wo das Unternehmen selbst angibt, dass es das womöglich nicht tut (Perplexity-User, ChatGPT-User, meta-externalfetcher) oder wo es weithin berichtet wurde (Bytespider).
• Einen Trainings-Crawler heute zu sperren, entfernt keine Seiten, die er bereits gesammelt hat.
• Googlebot speist sowohl die Google-Suche als auch KI-Übersichten. Die robots.txt kann beides nicht trennen; nur nosnippet oder noindex hält eine Seite aus KI-Übersichten heraus.

Häufig gestellte Fragen

Wie prüfe ich, ob meine Website GPTBot sperrt?

Gib oben deine Domain ein und sieh dir die Zeile GPTBot in der Gruppe KI-Training an. Sie zeigt Erlaubt oder Gesperrt und die entscheidende Regel. Prüfe außerdem die Zeile des Firewall-Tests: Bekommt GPTBot dort einen Fehler, sperrt dein Server oder CDN ihn, auch wenn die robots.txt ihn erlaubt.

Schadet das Sperren von KI-Crawlern meinen Google-Rankings?

Nein, solange du nur KI-Crawler sperrst. Google-Extended steuert das Training und die Fundierung von Gemini und hat keinen Einfluss auf die Google-Suche. Sperre niemals Googlebot selbst, außer du willst Google verlassen.

Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?

GPTBot sammelt Seiten, die zum Training von OpenAI-Modellen genutzt werden können. OAI-SearchBot indexiert Seiten, damit sie in der ChatGPT-Suche erscheinen und zitiert werden können. Du kannst den ersten sperren und den zweiten erlauben, was die meisten Verlage tun.

Sperrt das Sperren von ClaudeBot auch die Claude-Suche?

Nein. Anthropic nutzt drei getrennte Namen: ClaudeBot fürs Training, Claude-SearchBot für die Suche und Claude-User für Seiten, die ein Nutzer Claude zu öffnen bittet. Jeder braucht eine eigene Regel.

Meine robots.txt sperrt einen Crawler, aber er kommt trotzdem. Warum?

Entweder befolgt der Crawler die robots.txt nicht, jemand nutzt seinen Namen, ohne er zu sein, oder er hat eine Seite abgerufen, die ein Nutzer angefordert hat, was manche Unternehmen anders behandeln. Für Crawler, die dir wichtig sind, füge zusätzlich eine Firewall- oder CDN-Regel hinzu.

Was passiert, wenn ich keine robots.txt habe?

Jeder Crawler darf jede Seite lesen. Das ist in Ordnung, wenn du für KI-Tools sichtbar sein willst. Liefert deine robots.txt stattdessen einen Serverfehler, tun regelkonforme Crawler das Gegenteil und bleiben der ganzen Website fern, behebe das also zuerst.

Werden meine Daten gespeichert?

Eingefügte Dateien verlassen nie deinen Browser. Für den Tab Website prüfen ruft unser Server die öffentliche robots.txt, llms.txt und Startseite der eingegebenen Domain ab und behält das Ergebnis sechs Stunden, damit wiederholte Prüfungen sofort gehen. Über dich wird nichts gespeichert.

Wo erfahre ich mehr?

Lies unsere Anleitung KI-Crawler mit der robots.txt blockieren (und wann besser nicht). Für allgemeine Crawler-Regeln nutze den Robots.txt-Generator.