Générateur de robots.txt

Qu’est-ce que le générateur de robots.txt ?

Le générateur de robots.txt construit un fichier robots.txt valide à partir de quelques choix : à quels robots s’appliquent les règles, quels chemins bloquer ou autoriser, s’il faut définir un délai d’exploration et où se trouve votre sitemap XML. Partez d’un modèle (Tout autoriser, Tout bloquer, WordPress ou Bloquer les chemins inutiles), ajustez, puis copiez ou téléchargez le résultat à la racine de votre site. L’outil fonctionne dans votre navigateur et valide la syntaxe au fur et à mesure, pour que vous ne bloquiez pas tout votre site à cause d’une barre oblique perdue.

Comment l’utiliser

1. Choisissez un modèle ou partez de zéro.
2. Ajoutez des groupes user-agent. L’astérisque correspond à tous les robots ; ne créez des groupes séparés que si vous voulez des règles différentes pour, par exemple, Googlebot ou un robot d’IA.
3. Ajoutez des lignes Disallow et Allow. Les chemins sont relatifs à la racine et comparés par préfixe : /admin/ bloque donc tout ce qui se trouve dessous.
4. Saisissez l’URL de votre sitemap. Elle doit être absolue.
5. Copiez le fichier, mettez-le en ligne sous /robots.txt, puis testez-le dans Google Search Console.

Ce que robots.txt fait et ne fait pas

Il indique aux robots bien élevés quelles URL ne pas demander. Il ne retire pas de pages de l’index (une URL bloquée peut rester indexée via des liens, sans contenu), il ne cache rien aux personnes et n’est pas un contrôle de sécurité. Pour garder une page hors des résultats de recherche, laissez-la explorable et ajoutez plutôt une balise noindex. L’erreur courante est de bloquer les dossiers CSS et JavaScript, ce qui empêche Google d’afficher correctement les pages. Pour un guide complet avec des exemples pour WordPress, Shopify et Next.js et les directives pour les robots d’IA, lisez comment écrire un fichier robots.txt.

Valeurs par défaut raisonnables

• WordPress : bloquez /wp-admin/ mais autorisez /wp-admin/admin-ajax.php ; laissez /wp-content/ et /wp-includes/ explorables.
• Recherche interne : bloquez /?s= et /search/ pour éviter l’exploration infinie des pages de recherche.
• Préproduction : ne comptez pas sur robots.txt ; utilisez l’authentification HTTP ou noindex.
• Sitemap : incluez toujours la ligne ; c’est la seule directive que tous les robots respectent.
• Crawl-delay : Google l’ignore ; ne l’ajoutez que pour Bing ou Yandex si votre serveur peine.

Outils associés

Générez le sitemap que vous référencez avec le générateur de sitemap XML, vérifiez que le fichier est bien servi avec le vérificateur d’en-têtes HTTP et contrôlez la balise meta robots d’une page avec l’extracteur de balises meta.

Questions fréquentes

Où place-t-on le fichier ?

À la racine de l’hôte : https://example.com/robots.txt. Les sous-dossiers et sous-domaines ont chacun besoin du leur.

Disallow retire-t-il une page de Google ?

Non. Pour cela, utilisez une balise meta noindex sur une page explorable.

Puis-je bloquer les robots d’IA ?

Oui. Utilisez le bouton d’ajout d’une autre règle user-agent pour GPTBot, ClaudeBot, CCBot et d’autres, et réglez Disallow sur /.

Comment le tester ?

Google Search Console propose un rapport robots.txt dans Paramètres qui montre ce que Google a récupéré et les éventuelles erreurs d’analyse.

User-agent: *
Disallow:

User-agent: *
Disallow: /

User-agent: *
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

User-agent: GPTBot
Disallow: /