robots.txt-Generator

Was ist der Robots.txt-Generator?

Der Robots.txt-Generator baut aus wenigen Entscheidungen eine gültige robots.txt: für welche Bots die Regeln gelten, welche Pfade gesperrt oder erlaubt werden, ob eine Crawl-Verzögerung gesetzt wird und wo deine XML-Sitemap liegt. Starte mit einer Vorlage (Alles erlauben, Alles sperren, WordPress oder Unnütze Pfade sperren), passe sie an und kopiere oder lade das Ergebnis in das Stammverzeichnis deiner Website. Das Tool läuft in deinem Browser und prüft die Syntax unterwegs, damit du nicht versehentlich mit einem verirrten Schrägstrich die ganze Website sperrst.

So funktioniert es

1. Wähle eine Vorlage oder beginne leer.
2. Füge User-Agent-Gruppen hinzu. Der Stern gilt für jeden Bot; lege getrennte Gruppen nur an, wenn du für zum Beispiel Googlebot oder einen KI-Crawler andere Regeln willst.
3. Füge Disallow- und Allow-Zeilen hinzu. Pfade sind relativ zum Stammverzeichnis und werden als Präfix verglichen, daher sperrt /admin/ alles darunter.
4. Gib deine Sitemap-URL ein. Sie muss absolut sein.
5. Kopiere die Datei, lade sie als /robots.txt hoch und teste sie in der Google Search Console.

Was robots.txt leistet und was nicht

Sie sagt wohlerzogenen Crawlern, welche URLs sie nicht abrufen sollen. Sie entfernt keine Seiten aus dem Index (eine gesperrte URL kann aufgrund von Links trotzdem ohne Inhalt indexiert werden), sie versteckt nichts vor Menschen und ist keine Sicherheitsmaßnahme. Um eine Seite aus den Suchergebnissen herauszuhalten, lass sie crawlen und setze stattdessen ein noindex-Tag. Der häufige Fehler ist das Sperren der CSS- und JavaScript-Ordner, wodurch Google Seiten nicht richtig rendern kann. Eine vollständige Anleitung mit Beispielen für WordPress, Shopify und Next.js sowie den KI-Crawler-Anweisungen findest du in So schreibst du eine robots.txt-Datei.

Sinnvolle Standardwerte

• WordPress: /wp-admin/ sperren, aber /wp-admin/admin-ajax.php erlauben; /wp-content/ und /wp-includes/ crawlbar lassen.
• Interne Suche: /?s= und /search/ sperren, um endloses Crawlen von Suchseiten zu verhindern.
• Staging: nicht auf robots.txt verlassen; HTTP-Authentifizierung oder noindex verwenden.
• Sitemap: die Zeile immer angeben; sie ist die eine Anweisung, die jeder Crawler beachtet.
• Crawl-delay: Google ignoriert sie; setze sie nur für Bing oder Yandex, wenn dein Server schwächelt.

Verwandte Tools

Erzeuge die referenzierte Sitemap mit dem XML-Sitemap-Generator, prüfe mit dem HTTP-Header-Prüfer, ob die Datei korrekt ausgeliefert wird, und kontrolliere das Robots-Meta einer Seite mit dem Meta-Tag-Extraktor.

Häufig gestellte Fragen

Wohin gehört die Datei?

In das Stammverzeichnis des Hosts: https://example.com/robots.txt. Unterordner und Subdomains brauchen jeweils eine eigene.

Entfernt Disallow eine Seite aus Google?

Nein. Dafür nimmst du ein noindex-Meta-Tag auf einer crawlbaren Seite.

Kann ich KI-Crawler sperren?

Ja. Nutze die Schaltfläche zum Hinzufügen einer weiteren User-Agent-Regel für GPTBot, ClaudeBot, CCBot und weitere und setze Disallow auf /.

Wie teste ich sie?

Die Google Search Console hat unter Einstellungen einen robots.txt-Bericht, der zeigt, was Google abgerufen hat, und etwaige Parsing-Fehler.

User-agent: *
Disallow:

User-agent: *
Disallow: /

User-agent: *
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

User-agent: GPTBot
Disallow: /