Vérificateur de robots d’IA

Ce que fait ce vérificateur de robots d’IA

Ce vérificateur de robots d’IA vous dit quels robots d’IA peuvent lire votre site et lesquels sont bloqués. Saisissez un domaine et il lit votre robots.txt, puis affiche le résultat pour 32 robots d’OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Amazon, ByteDance, Common Crawl et d’autres. Pour chaque robot, vous voyez la règle exacte et le numéro de ligne qui décide, afin de savoir quoi changer, pas seulement ce qui ne va pas.

Les robots sont répartis selon leur rôle, car les bloquer n’a pas du tout les mêmes effets :

• Recherche et réponses d’IA (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot) : ils décident si ChatGPT, Claude, Perplexity et Siri peuvent trouver et citer vos pages. Si vous les bloquez, vous disparaissez de ces réponses.
• Entraînement d’IA (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider et d’autres) : ils collectent des pages qui peuvent servir à entraîner des modèles. Les bloquer n’affecte pas votre classement dans les moteurs de recherche.
• Consultations demandées par un utilisateur (ChatGPT-User, Claude-User, Perplexity-User) : un assistant ouvre votre page parce que quelqu’un a collé le lien ou posé une question à son sujet.

Comment l’utiliser

1. Vérifiez un site. Saisissez votre domaine, par exemple example.com, et appuyez sur Vérifier l’accès. Pour tester une seule page, collez plutôt son URL complète.
2. Lisez le résumé. Les trois tuiles indiquent combien de robots de recherche, d’entraînement et de consultation utilisateur sont autorisés. Le panneau en dessous liste votre robots.txt, la présence d’un llms.txt, d’éventuelles balises noindex, nosnippet ou noai sur la page d’accueil, et un test de pare-feu.
3. Regardez les notes. Le vérificateur signale les erreurs courantes en langage simple : un robot avec son propre groupe qui ignore silencieusement vos règles User-agent: *, le blocage de la recherche ChatGPT alors que l’entraînement d’OpenAI est autorisé, des noms retirés comme anthropic-ai et des fichiers robots.txt qui sont en réalité des pages HTML.
4. Testez un chemin. Saisissez un chemin, par exemple /blog/ ou /wp-admin/, pour voir quels robots peuvent l’ouvrir. Cliquez sur un numéro de ligne pour aller à cette ligne de votre fichier.
5. Corrigez. Appuyez sur Corriger : créer les règles. Choisissez une politique, ajustez des robots un par un et copiez un robots.txt complet qui conserve vos règles et sitemaps actuels. Appuyez sur Tester pour vérifier le nouveau fichier avant de le mettre en ligne.

Pas encore de site en ligne, ou derrière une connexion ? Utilisez l’onglet Coller un robots.txt. Collez ou téléversez le fichier et les résultats se mettent à jour pendant la saisie, sans que rien ne quitte votre navigateur.

Ce que montre le test de pare-feu

Le robots.txt est une demande, pas un verrou. De nombreux sites bloquent aussi les robots d’IA au niveau du serveur ou du CDN, parfois sans que le propriétaire le sache, parce qu’un plugin de sécurité ou un réglage Cloudflare l’a fait. Le vérificateur demande votre page d’accueil trois fois : comme un navigateur normal, comme GPTBot et comme ClaudeBot. Si les versions robot reçoivent une erreur 403 ou une page de défi alors que le navigateur passe, quelque chose bloque les robots d’IA par leur nom, quoi que dise votre robots.txt.

Le test ne voit que les blocages fondés sur le nom du user-agent. Les règles qui vérifient la vraie adresse IP du robot, comme le blocage des bots vérifiés de Cloudflare, ne sont pas détectables de l’extérieur : un résultat propre ne les exclut donc pas.

Ce que les résultats ne peuvent pas vous dire

Des limites honnêtes, pour ne pas lire dans un résultat vert plus que ce qu’il signifie :

• Un robot « autorisé » peut ne jamais venir. Être autorisé vous rend éligible ; cela n’oblige personne à vous explorer.
• Tous les robots ne respectent pas robots.txt. La colonne Respecte robots.txt le signale là où l’entreprise elle-même dit qu’il se peut que non (Perplexity-User, ChatGPT-User, meta-externalfetcher) ou là où cela a été largement rapporté (Bytespider).
• Bloquer aujourd’hui un robot d’entraînement ne supprime pas les pages qu’il a déjà collectées.
• Googlebot alimente à la fois la recherche Google et les aperçus IA. Le robots.txt ne peut pas séparer les deux ; seul nosnippet ou noindex garde une page hors des aperçus IA.

Questions fréquentes

Comment vérifier si mon site bloque GPTBot ?

Saisissez votre domaine ci-dessus et regardez la ligne GPTBot dans le groupe entraînement d’IA. Elle indique Autorisé ou Bloqué et la règle qui décide. Vérifiez aussi la ligne du test de pare-feu : si GPTBot y reçoit une erreur, votre serveur ou CDN le bloque même si le robots.txt l’autorise.

Bloquer les robots d’IA nuit-il à mon classement Google ?

Non, tant que vous ne bloquez que des robots d’IA. Google-Extended contrôle l’entraînement et l’ancrage de Gemini et n’a aucun effet sur la recherche Google. Ne bloquez jamais Googlebot lui-même, sauf si vous voulez quitter Google.

Quelle différence entre GPTBot et OAI-SearchBot ?

GPTBot collecte des pages qui peuvent servir à entraîner les modèles d’OpenAI. OAI-SearchBot indexe des pages pour qu’elles apparaissent et soient citées dans la recherche ChatGPT. Vous pouvez bloquer le premier et autoriser le second, ce que font la plupart des éditeurs.

Bloquer ClaudeBot bloque-t-il aussi la recherche de Claude ?

Non. Anthropic utilise trois noms distincts : ClaudeBot pour l’entraînement, Claude-SearchBot pour la recherche et Claude-User pour les pages qu’un utilisateur demande à Claude d’ouvrir. Chacun a besoin de sa propre règle.

Mon robots.txt bloque un robot mais il vient quand même. Pourquoi ?

Soit le robot ne suit pas robots.txt, soit quelqu’un utilise son nom sans l’être, soit il a récupéré une page demandée par un utilisateur, ce que certaines entreprises traitent différemment. Pour les robots qui comptent pour vous, ajoutez aussi une règle de pare-feu ou de CDN.

Que se passe-t-il si je n’ai pas de robots.txt ?

Tous les robots peuvent lire toutes les pages. C’est bien si vous voulez être visible pour les outils d’IA. Si votre robots.txt renvoie plutôt une erreur serveur, les robots respectueux font l’inverse et restent à l’écart de tout le site : corrigez cela en premier.

Mes données sont-elles enregistrées ?

Les fichiers collés ne quittent jamais votre navigateur. Pour l’onglet Vérifier un site, notre serveur récupère le robots.txt, le llms.txt et la page d’accueil publics du domaine saisi et garde le résultat six heures pour que les vérifications répétées soient instantanées. Rien à votre sujet n’est enregistré.

Où en savoir plus ?

Lisez notre guide Comment bloquer les robots d’IA avec robots.txt (et quand ne pas le faire). Utilisez le générateur de robots.txt pour les règles générales d’exploration.