Comment bloquer les robots d’IA avec robots.txt (et quand ne pas le faire)

La plupart des propriétaires de sites qui cherchent à bloquer les robots d’IA veulent une chose : empêcher les entreprises d’IA de s’entraîner sur leur contenu. Beaucoup finissent par en faire une autre par accident, comme disparaître de la recherche ChatGPT, ou ne rien bloquer du tout parce qu’ils ont utilisé un nom de robot retiré il y a deux ans. Ce guide explique quels robots existent, ce que chacun contrôle, les règles à copier et ce que robots.txt ne peut tout simplement pas faire.

Avant de changer quoi que ce soit, voyez où vous en êtes : l’AI Crawler Access Checker gratuit lit votre robots.txt et montre quels robots d’IA sont autorisés ou bloqués, et pourquoi.

Pourquoi « bloquer les robots d’IA » recouvre en réalité trois décisions

Les entreprises d’IA n’utilisent plus un seul robot chacune. Depuis fin 2024, les grandes répartissent leurs robots par usage, et chaque nom demande sa propre ligne dans robots.txt :

Publicité

Entreprise	Entraînement	Recherche et citations	Quand un utilisateur le demande
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User
Perplexity	(aucun)	PerplexityBot	Perplexity-User
Google	Google-Extended	Googlebot
Apple	Applebot-Extended	Applebot
Meta	meta-externalagent		meta-externalfetcher

Les vraies questions sont donc :

1. Entraînement : les entreprises d’IA peuvent-elles utiliser vos pages pour construire les futurs modèles ? Bloquer cela n’a aucun effet sur le trafic de recherche.
2. Recherche d’IA : ChatGPT, Claude, Perplexity et Siri peuvent-ils trouver et citer vos pages ? Bloquer cela vous retire de leurs réponses et des visiteurs que ces citations envoient.
3. Consultations d’utilisateurs : un assistant peut-il ouvrir votre page quand quelqu’un colle votre lien ? Bloquer cela agace surtout vos propres lecteurs.

Pour la plupart des blogs, boutiques et sites d’outils, la réponse sensée est non, oui, oui : bloquer l’entraînement, garder la recherche. Si vous vendez le contenu lui-même (journalisme payant, recherche, photos de stock), tout bloquer est un choix commercial raisonnable. Faites-le simplement en connaissance de cause.

Les règles robots.txt à copier

Ce bloc arrête les principaux robots d’entraînement et laisse tranquilles la recherche et les consultations d’utilisateurs. Ajoutez-le à la fin de votre robots.txt, sous vos règles existantes (le format de fichier vous est nouveau ? Commencez avec le générateur de robots.txt) :

# Block AI training
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
User-agent: Amazonbot
User-agent: cohere-training-data-crawler
Disallow: /

Empiler plusieurs lignes User-agent au-dessus d’un même Disallow est valide : elles forment un groupe, et chaque robot qui y est nommé suit la règle.

Pour bloquer tous les robots d’IA, recherche comprise, ajoutez au même groupe les noms de recherche et de consultation d’utilisateur : OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User et meta-externalfetcher. N’ajoutez pas Googlebot ni Bingbot, sauf si vous voulez quitter complètement Google et Bing.

Sous WordPress, pas besoin de FTP. Yoast SEO propose un éditeur de robots.txt dans Yoast SEO → Outils → Éditeur de fichiers, et Rank Math en a un dans Réglages généraux → Modifier robots.txt. Si aucun n’apparaît, WordPress génère un robots.txt virtuel et vous pouvez créer un vrai fichier dans le dossier racine de votre site via le gestionnaire de fichiers de votre hébergeur.

Trois erreurs qui cassent discrètement les règles

1. Le groupe propre d’un robot annule vos règles générales

Celle-ci piège beaucoup de monde. Un robot ne suit que le groupe le plus spécifique qui le nomme. Si votre fichier dit

User-agent: *
Disallow: /wp-admin/
Disallow: /checkout/

User-agent: OAI-SearchBot
Allow: /

OAI-SearchBot ignore complètement le premier groupe et peut explorer /wp-admin/ et /checkout/. Si vous donnez à un robot son propre groupe, répétez-y les lignes Disallow que vous voulez conserver. Le vérificateur avertit de ce piège, et son générateur de règles copie vos chemins privés dans chaque groupe à votre place.

2. Les noms retirés

De nombreuses listes à copier-coller bloquent encore anthropic-ai et Claude-Web. Anthropic n’utilise plus ni l’un ni l’autre : ces lignes ne contrôlent rien, et les sites qui s’y fient ne bloquent pas du tout ClaudeBot.

3. Bloquer la recherche tout en autorisant l’entraînement

Nous voyons régulièrement des fichiers qui bloquent OAI-SearchBot ou PerplexityBot « par prudence » mais ne mentionnent jamais GPTBot. Le résultat cumule le pire : absent des résultats de recherche de ChatGPT, mais toujours disponible pour l’entraînement.

Ce que robots.txt ne peut pas faire

C’est la partie que la plupart des guides sautent. Le robots.txt est une demande publique. Il fonctionne parce que les entreprises sérieuses choisissent de le respecter, et il a de vraies limites :

• Il n’est pas imposé. OpenAI, Anthropic, Google et Apple disent que leurs robots le suivent. Bytespider aurait à plusieurs reprises été signalé comme l’ignorant, et n’importe quel scraper peut se faire passer pour un navigateur ordinaire.
• Les consultations d’utilisateurs sont une zone grise. Perplexity dit que Perplexity-User ignore en général robots.txt, OpenAI dit que les règles de robots.txt peuvent ne pas s’appliquer à ChatGPT-User, et Meta dit la même chose de meta-externalfetcher. Leur argument : une personne, et non un robot, a demandé la page.
• Il n’est pas rétroactif. Bloquer GPTBot aujourd’hui ne supprime ni les pages déjà collectées ni les modèles déjà entraînés. Les archives de Common Crawl remontent à plus de dix ans.
• Il ne peut pas séparer la recherche Google des aperçus IA. Les deux utilisent Googlebot. Google-Extended ne couvre que l’entraînement et l’ancrage de Gemini. Le seul moyen de garder une page hors des aperçus IA est nosnippet (ou noindex), ce qui retire aussi son extrait des résultats normaux. Pour la plupart des sites, cet échange n’en vaut pas la peine.
• Les balises noai et noimageai relèvent du vœu pieux. Ces balises meta ne font partie d’aucun standard et aucune des grandes entreprises d’IA n’a dit les suivre. Les ajouter ne fait pas de mal, mais n’y comptez pas.

Si le blocage compte vraiment pour vous, ajoutez aussi un blocage au niveau du réseau. Cloudflare peut bloquer les robots d’IA connus sur tous les forfaits et vérifie les vraies adresses IP des bots vérifiés, ce que robots.txt ne peut pas faire. Des plugins de sécurité comme Wordfence peuvent bloquer par user-agent. Sachez que ces outils agissent dans les deux sens : Cloudflare bloque désormais les robots d’IA par défaut sur de nombreux nouveaux domaines, si bien qu’un site peut exclure des bots de recherche d’IA que son propriétaire voulait autoriser alors que son robots.txt dit toujours « autorisé ». Le test de pare-feu du vérificateur compare la réponse que votre page d’accueil donne à un navigateur à celle qu’elle donne à GPTBot et ClaudeBot, et détecte exactement cela.

Content Signals et llms.txt : faut-il les ajouter ?

La Content Signals Policy de Cloudflare ajoute à robots.txt une ligne comme Content-Signal: search=yes, ai-input=yes, ai-train=no. Elle indique comment vous voulez que le contenu soit utilisé une fois récupéré : pour la recherche, comme entrée de réponses d’IA ou pour l’entraînement. C’est une déclaration claire de vos souhaits et elle ne coûte rien, mais aucun robot n’est tenu de la suivre, et les grandes entreprises d’IA n’ont pas dit publiquement qu’elles le font. Ajoutez-la si vous voulez ; ne la considérez pas comme une protection.

llms.txt va dans l’autre sens : au lieu de tenir l’IA à l’écart, il oriente les assistants vers vos meilleures pages. L’adoption par les entreprises d’IA reste floue : voyez-le comme peu coûteux et facultatif, pas comme un levier de classement.

Comment vérifier que cela a fonctionné

1. Ouvrez votresite.fr/robots.txt dans une fenêtre de navigation privée. Si vous voyez encore votre ancien fichier, videz le plugin de cache ou le cache du CDN. Si vous voyez une page web au lieu de texte brut, votre robots.txt n’est pas correctement configuré.
2. Lancez l’AI Crawler Access Checker. Les lignes d’entraînement doivent indiquer Bloqué, celles de recherche Autorisé, et les notes ne doivent contenir aucun avertissement.
3. Testez un chemin privé, comme /wp-admin/, dans le champ de chemin pour vous assurer que les robots autorisés ne peuvent toujours pas l’ouvrir.
4. Laissez passer une journée. OpenAI et Perplexity disent que les changements mettent environ 24 heures à atteindre leurs robots, et d’autres relisent robots.txt à leur rythme.
5. Si vous avez les journaux du serveur, cherchez les noms de robots au bout d’une semaine. Des accès à des chemins bloqués venant d’un nom qui prétend respecter robots.txt signifient en général que quelqu’un usurpe ce nom.

La version courte

Pour empêcher les robots d’IA de s’entraîner tout en restant visible dans la recherche d’IA, bloquez GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, CCBot et Bytespider, et laissez tranquilles OAI-SearchBot, Claude-SearchBot et PerplexityBot. N’utilisez pas de noms retirés, n’oubliez pas que le groupe propre d’un robot remplace vos règles générales, et n’attendez pas de robots.txt qu’il arrête quiconque choisit de l’ignorer. Si cela compte, appuyez-le d’une règle de pare-feu.

Vérifiez votre site maintenant : l’AI Crawler Access Checker montre l’accès de chaque robot d’IA en quelques secondes et crée des règles corrigées que vous pouvez coller directement dans votre robots.txt.