Schnellstart:
robots.txt-Vorschau live
User-agent: * Disallow:
Lade die Datei in das Stammverzeichnis deiner Website hoch, damit sie erreichbar ist unter yourdomain.com/robots.txt.
robots.txt-Generator
Was ist der robots.txt-Generator?
Der robots.txt-Generator baut eine gültige robots.txt aus Vorlagen und Klick-Optionen: welche Bots dürfen wohin, welche Verzeichnisse bleiben gesperrt, wo liegt die Sitemap. Die Syntax wird geprüft, damit kein Tippfehler versehentlich die ganze Site sperrt.
So funktioniert es
- Plattform-Vorlage wählen (WordPress, Shopify, Next.js, allgemein).
- Regeln anpassen: Disallow-Pfade, Crawl-Delay, KI-Bots erlauben oder blockieren.
- Sitemap-URL eintragen, Datei kopieren oder herunterladen und im Stammverzeichnis ablegen.
Funktionen
- Vorlagen mit den bewährten Regeln je Plattform.
- KI-Crawler-Schalter (GPTBot, CCBot u. a.).
- Syntax- und Logikprüfung mit Warnung vor „Disallow: /“.
- Kein Konto.
Verwandte Tools
XML-Sitemap-Generator, HTTP-Header-Checker.
Read the guide
robots.txt schreiben: Anleitung mit Beispielen für WordPress, Shopify und Next.js
robots.txt schreiben: Was die Datei kann und was nicht, die Syntax in fünf Zeilen, Vorlagen für WordPress, Shopify und Next.js, KI-Bots steuern und die drei Fehler, die eine Site aus Google werfen.
Häufige Fragen
Verhindert robots.txt die Indexierung?
Nein, nur das Crawlen. Um eine Seite aus dem Index zu halten, braucht es ein noindex-Meta-Tag – und die Seite darf nicht per robots.txt gesperrt sein.
Wo muss die Datei liegen?
Im Stammverzeichnis: example.com/robots.txt.
Passende Anleitungen
Kurze, praktische Texte, die zu diesem Tool passen.
Mehr SEO- & Website-Tools
Kostenlos, im Browser, ohne Anmeldung.
Meta-Tag-Extraktor
All-in-One-SEO-Analyzer
HTTP-Header-Checker
UTM-Link-Builder