- Chez la plupart des opérateurs, le robot qui collecte pour l’entraînement et celui qui indexe pour la recherche sont deux robots distincts : chez OpenAI,
GPTBotd’un côté,OAI-SearchBotde l’autre. - Bloquer
GPTBotne vous retire pas des réponses de ChatGPT : c’est bloquerOAI-SearchBotqui vous en retire. Les deux réglages sont indépendants. - Depuis le 15/09/2026, le réglage Block de Cloudflare s’applique aussi aux crawlers mixtes (Applebot, Bingbot, Googlebot) et coupe donc la recherche. Pour refuser l’entraînement en gardant ses citations, le réglage est Disallow AI Training.
- Le fichier
robots.txtexprime une préférence, jamais une barrière technique. Sa portée vient de l’article 4 de la directive (UE) 2019/790, qui reconnaît une réservation de droits exprimée par un procédé lisible par machine. - IA Agency relie la décision d’usage, le réglage technique et sa vérification dans les moteurs de réponse.
On vous a dit de bloquer les IA. Vous avez trouvé un article, copié une liste de user-agents, collé quinze lignes de Disallow dans votre fichier robots.txt, et refermé le sujet. Personne ne vous a dit lequel de ces robots vous faisait citer.
Quelques semaines plus tard, vos pages ne remontent plus quand un moteur de réponse traite une question de votre secteur. Le contenu est toujours là, l’indexation Google aussi, mais la citation a disparu. Vous avez bloqué une entreprise là où il fallait bloquer un usage.
La vraie question n’est donc pas « faut-il bloquer les IA ». Elle se traite réglage par réglage : comment refuser que vos contenus entraînent des modèles, sans payer ce refus en visibilité dans les moteurs de réponse ?
Crawler de recherche, crawler d’entraînement, agent : trois robots, trois usages
Cloudflare classe les robots d’exploration par comportement, pas par entreprise, et un même robot peut en cumuler plusieurs. Trois comportements sont pilotables : Search (constituer un index de recherche), Training (entraîner ou affiner un modèle) et Agent (robot déclenché par un humain, du type récupération d’une page pendant un échange ou navigateur piloté).
Cette grille de lecture change la façon de raisonner. Vous n’autorisez pas « OpenAI » ou « Google » : vous autorisez un usage de votre contenu, et vous en refusez un autre. C’est la première distinction qu’une agence IA pose avant de toucher au moindre fichier, parce qu’elle détermine tout ce qui suit.
Le point dur porte un nom : le crawler mixte, ou mixed-use. C’est un robot unique qui fait à la fois de la recherche et de l’entraînement. Tant qu’un seul user-agent porte les deux finalités, refuser l’une revient à refuser l’autre, et c’est ce nœud que les opérateurs ont commencé à défaire.
Quel user-agent sert à quoi, et que coûte un blocage ?
Les opérateurs documentent eux-mêmes le rôle de chacun de leurs robots. Le tableau croise le user-agent, son usage déclaré et l’effet réel d’un blocage.
| User-agent | Opérateur | Usage documenté | Effet d’un blocage |
|---|---|---|---|
| GPTBot | OpenAI | Exploration pouvant servir à entraîner les modèles | Retire de l’entraînement, pas de la recherche ChatGPT |
| OAI-SearchBot | OpenAI | Indexation pour la recherche ChatGPT, non employé pour l’entraînement | Retire des réponses de la recherche ChatGPT |
| ChatGPT-User | OpenAI | Récupération déclenchée par une demande d’un utilisateur | Empêche la consultation en direct pendant un échange |
| ClaudeBot | Anthropic | Collecte pouvant alimenter l’entraînement | Exclut les contenus futurs des jeux d’entraînement |
| Claude-SearchBot | Anthropic | Exploration pour la qualité des résultats de Claude | Réduit la visibilité et la précision dans Claude |
| Claude-User | Anthropic | Récupération à la demande d’un utilisateur | Empêche Claude de récupérer la page à la demande |
| Google-Extended | Contrôle de l’usage pour les modèles génératifs | Sans effet sur l’inclusion ni le classement dans Google Search | |
| Googlebot | Exploration pour Google Search | Affecte l’indexation et la visibilité dans Google Search | |
| PerplexityBot | Perplexity | Exploration pour apparaître dans les résultats Perplexity | Empêche l’indexation normale du contenu |
| Perplexity-User | Perplexity | Récupération quand un utilisateur pose une question | Sans effet : ce robot ignore généralement le robots.txt |
| Applebot-Extended | Apple | Signal pour l’usage génératif | Refuse l’entraînement, sans affecter le classement |
| Bytespider · CCBot · meta-externalagent · Amazonbot | ByteDance · Common Crawl · Meta · Amazon | Collecte de données | Retire des collectes correspondantes |
Bloquer GPTBot vous fait-il disparaître de ChatGPT ?
Bloquer GPTBot ne vous retire pas de la recherche ChatGPT. OpenAI exploite deux robots distincts : GPTBot explore pour une collecte pouvant servir à entraîner les modèles, OAI-SearchBot indexe pour la recherche ChatGPT et n’est pas employé pour l’entraînement. C’est OAI-SearchBot qui gouverne votre présence dans les réponses, et c’est donc lui, et lui seul, qui vous coûte des citations. OpenAI précise qu’une même exploration peut servir aux deux finalités quand les deux robots sont autorisés, pour éviter les explorations redondantes : cela ne couple pas les permissions.
Anthropic suit la même logique : ClaudeBot pour la collecte d’entraînement, Claude-SearchBot pour la qualité des résultats de Claude, Claude-User pour les récupérations à la demande. Bloquer Claude-SearchBot peut réduire votre visibilité et la précision de ce qui est dit de vous. Chez Google, Google-Extended pilote l’usage génératif et n’affecte ni l’inclusion ni le classement dans Google Search. Chez Apple, Applebot-Extended est le signal génératif, distinct d’Applebot qui reste nécessaire à l’indexation.
Le cas Perplexity, qu’il faut regarder en face
Perplexity mérite un traitement à part. PerplexityBot explore pour que vos pages apparaissent et soient liées dans les résultats, et il n’est pas employé pour collecter du contenu d’entraînement des modèles fondamentaux. En revanche, la documentation technique de Perplexity indique que Perplexity-User ignore généralement le robots.txt, la requête étant déclenchée par une demande explicite d’un utilisateur. Autre précision utile : même lorsqu’une page est interdite, le domaine, le titre et un bref résumé factuel peuvent rester indexés.
Traduire cette grille en réglages concrets suppose de savoir quels robots touchent réellement votre site, et à quelle fréquence. C’est le premier chantier d’une agence GEO : mesurer avant de couper.
À lire également : Comment retirer vos pages des AI Overviews de Google, une par une ?
Ce que le fichier robots.txt permet, et ce qu’il ne permettra jamais
Le fichier robots.txt est formalisé depuis 09/2022 par la RFC 9309 (Robots Exclusion Protocol, IETF), qui en décrit la syntaxe et le fonctionnement. Ce texte décrit un protocole technique : il ne transforme pas le fichier en obligation juridique générale, et il ne lui donne aucun pouvoir de contrainte sur une machine qui choisit de l’ignorer.
Voyez-le comme une déclaration publique de préférence, affichée à l’entrée du site. Cloudflare l’écrit noir sur blanc : le fichier n’identifie pas qui explore, ne détermine pas pourquoi, et n’arrête pas un robot qui l’ignore. Concrètement, il ne peut pas :
- Identifier qui explore réellement : un user-agent se déclare, il ne se prouve pas.
- Déterminer la finalité de la collecte une fois la page récupérée.
- Arrêter un robot qui l’ignore : rien dans le protocole ne bloque quoi que ce soit.
- Effacer ce qui a déjà été absorbé dans un jeu d’entraînement existant.
- S’appliquer à un agent déclenché par un humain, comme
Perplexity-User.
Cette limite n’est pas un défaut du fichier, c’est sa nature. Conséquence pratique : dès qu’un robot ne respecte pas la préférence exprimée, la réponse ne se joue plus dans le robots.txt mais au niveau du réseau, avec un pare-feu applicatif ou un outil de gestion des robots. C’est aussi la logique d’un travail de SEO IA sérieux : on écrit la préférence, puis on mesure ce qu’elle produit.
« On ne bloque pas une entreprise, on bloque un usage. La faute la plus fréquente, c’est de raisonner par marque : je bloque OpenAI, je bloque Google. Le réglage utile raisonne par finalité, et c’est exactement pour ça que deux lignes de robots.txt qui se ressemblent peuvent produire des effets opposés sur votre visibilité. »Avant de toucher au moindre réglage, nous cartographions les robots qui passent vraiment sur le site, à partir des journaux du serveur, sur plusieurs semaines. L’écart avec la liste recopiée depuis un article générique est systématique : des user-agents redoutés ne sont jamais venus, et d’autres, jamais cités, font l’essentiel du volume d’exploration. On règle ensuite sur ce qui existe.
Content Signals : dire ce qu’on autorise après l’accès, pas seulement qui entre
La Content Signals Policy, annoncée par Cloudflare le 24/09/2025, comble un angle mort du robots.txt classique. Le fichier historique dit qui entre et où ; les content signals disent ce qui est autorisé une fois l’accès obtenu. Trois signaux existent, avec des définitions précises :
search: constituer un index et fournir des résultats, c’est-à-dire des liens et de courts extraits. La recherche n’inclut pas la fourniture de résumés générés par IA.ai-input: injecter du contenu dans un ou plusieurs modèles, par génération augmentée par récupération, ancrage, ou toute reprise en temps réel pour une réponse générative.ai-train: entraîner ou affiner des modèles.
La syntaxe tient en trois lignes, à placer dans votre fichier :
User-Agent: *
Content-Signal: search=yes, ai-train=no
Allow: /Le troisième état, celui que tout le monde manque
Les content signals ont trois états, et non deux. yes signifie que vous autorisez la collecte pour cet usage, no que vous ne l’autorisez pas, et l’absence de signal ne veut pas dire « pas de préférence » : elle veut dire que l’éditeur n’accorde ni ne restreint par ce mécanisme, autrement dit que sa préférence n’est pas exprimée ici. La nuance est loin d’être théorique. Cloudflare servait déjà un robots.txt géré pour plus de 3,8 millions de domaines, qui reçoivent Content-Signal: search=yes, ai-train=no. Pour ces mêmes clients, Cloudflare ne sert délibérément aucun signal ai-input, au motif qu’il ne connaît pas leur préférence et refuse de la deviner : l’abstention est une décision documentée, pas un oubli.
Deux précisions pour finir. Les zones gratuites dépourvues de robots.txt reçoivent la politique en commentaire lisible par un humain uniquement, sans directive ni signal réel, et les sites qui ont déjà un fichier ne voient aucun changement. Et la politique étant publiée sous licence CC0, n’importe qui peut la reprendre, y compris hors de Cloudflare.
Pour en savoir plus : Pourquoi les moteurs IA citent-ils des sites absents du top 10 Google (et comment en faire partie) ?
Le réglage Cloudflare qui change tout depuis le 15 septembre 2026
Cloudflare a publié le 15/09/2026 une annonce intitulée Have it both ways: stay discoverable in search while disallowing AI training, qui introduit un réglage Disallow AI Training. Quatre réglages coexistent désormais, appliqués au niveau du domaine, et leur effet sur la recherche n’est pas intuitif.
| Réglage | Effet sur l’entraînement | Effet sur la recherche | À qui il s’adresse |
|---|---|---|---|
| Allow | Aucun blocage | Aucun blocage | Site qui ne veut rien restreindre |
| Disallow AI Training | Préférence publiée dans le robots.txt ; crawlers d’entraînement dédiés bloqués | Crawlers mixtes Accountable toujours autorisés | Site qui refuse l’entraînement et tient à ses citations |
| Block on pages with ads | Blocage limité aux pages portant une publicité | Blocage sur ces mêmes pages | Site financé par la publicité |
| Block | Blocage total | Blocage total, recherche comprise depuis le 15/09/2026 | Site qui veut couper entièrement |
Le renversement à connaître si vous aviez réglé votre site avant
Ce qui a changé le 15/09/2026 tient en une phrase : chez Cloudflare, les réglages Block et Block on pages with ads s’appliquent désormais aussi aux crawlers mixtes, dont Applebot, Bingbot et Googlebot. La conséquence est contre-intuitive : depuis cette date, choisir Block coupe aussi la recherche. Si vous aviez opté pour le réglage le plus radical afin de refuser l’entraînement, vous coupez aujourd’hui bien plus que ce que vous vouliez. Le réglage qui tient le compromis est Disallow AI Training, et lui seul. Deux réglages antérieurs ont par ailleurs été abandonnés : Block AI Bots, remplacé par les contrôles Search, Training et Agent, et Managed Robots.txt, remplacé par Bot Preference Sync.
Ce que veut dire « Accountable », et pourquoi ça compte
Avec Disallow AI Training, la préférence « pas d’entraînement » est publiée dans le robots.txt via Bot Preference Sync, et les crawlers mixtes jugés Accountable restent autorisés pour la recherche. Tous les autres crawlers d’entraînement sont bloqués, y compris les crawlers d’entraînement dédiés d’Amazon, Anthropic, Meta et OpenAI. La désignation Accountable exige de l’opérateur qu’il remplisse, ou s’engage à remplir, quatre conditions : un mécanisme d’opt-out de l’entraînement via robots.txt ou un standard équivalent ; un mécanisme d’opt-out des résumés générés par IA ; une visibilité au niveau de l’URL sur les pages rendues disponibles pour l’entraînement, avec des mesures d’apparition dans la recherche ; et surtout l’assurance que refuser l’entraînement n’affecte pas les résultats de recherche classiques. C’est cette quatrième condition qui rend le compromis possible. Apple, Google et Microsoft la remplissent ; Amazon, Anthropic, Meta et OpenAI sont également classés Accountable, parce qu’ils séparent leurs crawlers de recherche et d’entraînement.
Une réserve importante accompagne ce réglage, et elle interdit de le présenter comme universel. Microsoft construit le mécanisme permettant de respecter une préférence « pas d’entraînement » exprimée dans le robots.txt au niveau du domaine, visé pour début 2027. D’ici là, activer Disallow AI Training ne transmet pas cette préférence à Bing par le robots.txt : l’opt-out y passe aujourd’hui par la balise NOARCHIVE et l’outil de suppression d’URL, Microsoft indiquant que NOARCHIVE n’affecte pas le classement.
Deux chiffres publiés par Cloudflare situent la pratique réelle : moins de 1 % des sites Cloudflare choisissent de bloquer les robots de recherche, et 17 % activent un mécanisme de blocage de l’entraînement. Ces contrôles sont disponibles pour tous les clients, sur tous les forfaits, dans les paramètres de sécurité de la zone.
Ne traitez jamais ce sujet comme un interrupteur unique. Posez trois décisions séparées, et écrivez-les : est-ce que j’accepte que mes contenus entraînent des modèles ? Est-ce que j’accepte d’être repris dans des résumés générés ? Est-ce que je veux rester explorable pour la recherche ? La plupart des sites que nous accompagnons refusent le premier usage, hésitent sur le deuxième et acceptent le troisième sans réserve. Cet arbitrage usage par usage produit un réglage qui tient ; un blocage en bloc produit une perte de visibilité que personne n’avait demandée.
La méthode en 7 étapes pour poser votre politique
Poser une politique de blocage de l’entraînement se fait dans un ordre précis : on ne vérifie pas avant d’avoir écrit, ni n’écrit avant d’avoir décidé.
- Décider usage par usage : entraînement, résumés générés, exploration pour la recherche. Trois décisions distinctes, jamais une seule.
- Inventorier les user-agents concernés par chacune de ces décisions, en s’appuyant sur le tableau des robots plus haut dans cet article.
- Écrire les règles
Disallowpar user-agent, jamais unDisallow: /global, qui emporterait la recherche avec l’entraînement. - Ajouter la Content Signals Policy et la ligne
Content-Signalcorrespondant à vos décisions. - Répéter l’opération sur chaque sous-domaine : Anthropic demande explicitement une règle par sous-domaine, et un fichier posé à la racine du domaine principal ne couvre pas les autres.
- Compléter par une réservation de droits en langage clair sur une page dédiée, datée et versionnée.
- Employer les mécanismes propres des opérateurs qui ne lisent pas encore la préférence dans le
robots.txt: baliseNOARCHIVEcôté Bing, directivenosnippetcôté Apple.
Le fichier robots.txt complet, à copier et à adapter
Voici un fichier robots.txt cohérent avec le scénario le plus fréquent : refus de l’entraînement, maintien de l’exploration pour la recherche. Adaptez-le à vos propres décisions avant de le servir.
# Préférence générale exprimée pour tous les robots
User-Agent: *
Content-Signal: search=yes, ai-train=no
Allow: /
# Entraînement refusé, recherche maintenue
User-Agent: GPTBot
Disallow: /
User-Agent: ClaudeBot
Disallow: /
User-Agent: Google-Extended
Disallow: /
User-Agent: Applebot-Extended
Disallow: /
User-Agent: Amazonbot
Disallow: /
User-Agent: meta-externalagent
Disallow: /
User-Agent: Bytespider
Disallow: /
User-Agent: CCBot
Disallow: /
# Robots de recherche laissés explicitement autorisés
User-Agent: OAI-SearchBot
Allow: /
User-Agent: Claude-SearchBot
Allow: /
User-Agent: PerplexityBot
Allow: /
User-Agent: Googlebot
Allow: /
User-Agent: Applebot
Allow: /
User-Agent: Bingbot
Allow: /
Sitemap: https://votre-domaine.fr/sitemap.xmlCe fichier se pose au niveau du site, au même titre que les en-têtes HTTP et le plan de site : une création de site internet IA intègre ces réglages dès la mise en ligne plutôt que de les rattraper après coup, sous-domaine par sous-domaine.
À découvrir absolument : Données structurées et moteurs IA : pourquoi un contenu bien balisé peut rester invisible ?
Vérifier que votre blocage est réellement pris en compte
Écrire un fichier n’est pas le servir, et le servir n’est pas produire l’effet voulu. Voici la séquence de vérification, dans l’ordre.
- Servir le fichier à la racine et le lire soi-même, dans un navigateur, depuis l’extérieur du site.
- Contrôler qu’aucune règle antérieure ne le contredit : une directive plus permissive plus haut dans le fichier, ou un module qui génère son propre contenu.
- Vérifier que la ligne
Content-Signalest bien servie, et non avalée par un cache ou réécrite par une extension. - Inspecter les journaux du serveur par user-agent, pour voir quels robots passent encore et à quelle fréquence.
- Répéter le contrôle sur chaque sous-domaine, y compris ceux qui hébergent une boutique, un blog ou une documentation technique.
- Dater et archiver la version en place, pour pouvoir prouver depuis quand la préférence est exprimée.
- Contrôler que le site apparaît toujours dans les moteurs de réponse visés, en posant réellement les questions de votre secteur.
Le septième contrôle est le seul qui mesure l’effet recherché. Les six premiers vérifient ce que vous avez écrit ; celui-là vérifie ce que ça produit. C’est précisément ce que couvre un audit et conseil IA quand la question porte sur la visibilité.
Une mise en garde s’impose sur les contre-mesures. Anthropic déconseille explicitement le blocage par adresse IP : il peut empêcher Anthropic de lire votre robots.txt, donc de constater votre opt-out. Le blocage le plus brutal invalide ainsi la préférence qu’il devait renforcer.
Ce que dit le droit français et européen sur le refus d’entraînement
Le refus d’entraînement s’appuie sur un enchaînement de textes précis, et c’est lui qui donne sa portée réelle à un réglage technique. Le tableau distingue ce qui décrit, ce qui exprime et ce qui oblige.
| Instrument | Nature | Portée réelle |
|---|---|---|
RFC 9309 (robots.txt) | Protocole technique, IETF, 09/2022 | Décrit la syntaxe, ne crée aucune obligation par lui-même |
| Content Signals Policy | Politique publiée sous CC0, 24/09/2025 | Exprime l’usage autorisé après l’accès ; vaut réservation au titre de l’article 4 |
| Directive (UE) 2019/790, art. 4 | Droit de l’Union, 17/04/2019 | Permet la fouille sauf réservation appropriée |
| CPI, art. L.122-5-3, III | Droit français | Accepte l’opposition « par des procédés lisibles par machine » |
| Règlement (UE) 2024/1689, art. 53 | AI Act, 13/06/2024 | Oblige les fournisseurs de modèles à identifier et respecter les réservations |
IETF aipref · W3C TDMRep | Travaux en cours | Pas encore des standards adoptés |
Pourquoi un fichier texte peut-il avoir une portée juridique ?
L’article 4 de la directive (UE) 2019/790 du 17/04/2019 autorise la fouille de textes et de données en cas d’accès licite, sauf réservation expresse et appropriée des titulaires de droits. Son paragraphe 3 est celui que visent les content signals, dont le texte porte d’ailleurs la mention expresse : toute restriction exprimée par un content signal constitue une réservation de droits au titre de cet article. La transposition française est l’article L.122-5-3, III, du Code de la propriété intellectuelle, créé par l’ordonnance n° 2021-1518 du 24/11/2021, qui réserve l’opposition exprimée « de manière appropriée, notamment par des procédés lisibles par machine pour les contenus mis à la disposition du public en ligne ».
Retenez cette mécanique, régulièrement présentée à l’envers : ce n’est pas le robots.txt qui contraint, c’est la loi qui accepte un procédé lisible par machine comme forme valable de réservation. Le fichier ne devient pas contraignant en lui-même, il devient un élément de preuve. L’article 53, paragraphe 1, point c) du règlement (UE) 2024/1689 du 13/06/2024 place ensuite la charge du côté des fournisseurs de modèles à usage général, tenus d’identifier et de respecter ces réservations au titre de leur politique de droit d’auteur ; son article 56 prévoit des codes de bonnes pratiques, celui des modèles à usage général ayant été finalisé en 2025. Deux chantiers restent enfin ouverts : le groupe de travail aipref à l’IETF et le TDM Reservation Protocol du W3C. Ni l’un ni l’autre n’est un standard adopté.
Les erreurs qui coûtent de la visibilité
- Un
Disallow: /global recopié depuis un article générique, qui coupe l’entraînement et les citations d’un même geste. - Bloquer un crawler de recherche en croyant viser l’entraînement, par exemple
OAI-SearchBotau lieu deGPTBot. - Oublier les sous-domaines, alors qu’une règle ne vaut que pour le domaine sur lequel le fichier est servi.
- Croire qu’un blocage efface le passé : un opt-out vaut pour l’avenir.
- Laisser Cloudflare sur Block sans savoir que, depuis le 15/09/2026, la recherche est emportée avec le reste.
« La question n’est pas technique, elle est économique. Un site financé par la publicité et un site qui vend un produit n’ont aucune raison de prendre la même décision sur l’entraînement : l’un vend de l’attention sur ses propres pages, l’autre a besoin d’être cité là où la décision d’achat se prend. C’est pour ça qu’un réglage par défaut ne peut pas exister, et que je me méfie de tout article qui vous en propose un. »
Le Disallow: / global recopié depuis un article générique est la cause la plus fréquente de perte de citations que nous constatons. Il passe pour le réglage sûr, alors qu’il refuse l’entraînement et l’exploration des moteurs de réponse, sans que rien ne le signale. Avant d’appliquer une liste trouvée en ligne, vérifiez ligne par ligne quel user-agent porte quelle finalité.
Obtenez votre devis personnalisé
Pourquoi confier ce réglage à IA Agency ?
La décision de bloquer ou non l’entraînement des IA n’est pas un réglage technique, c’est un arbitrage sur le modèle économique du site. IA Agency travaille les trois couches ensemble : la décision d’usage (ce que vous acceptez que vos contenus servent à faire), sa traduction technique (fichier robots.txt, content signals, réglages chez l’hébergeur, en-têtes) et sa vérification dans les moteurs de réponse eux-mêmes, une fois le réglage en place.
Cette dernière étape est celle que la plupart des chantiers oublient. Contrôler qu’un fichier est bien servi ne dit rien de ce qu’il produit : seule la mesure de votre présence réelle dans les réponses de ChatGPT, Claude, Perplexity ou Google dit si le compromis tient. Nous documentons chaque décision, datée et versionnée, pour que la réservation de droits reste démontrable.
Refuser un usage, pas une entreprise : ce qu’il faut retenir
Refuser l’entraînement des modèles sans disparaître des moteurs de réponse est possible, à une condition : raisonner par usage et non par entreprise. Chez la plupart des opérateurs, le robot d’entraînement et le robot de recherche sont distincts, et seul le second gouverne vos citations. Chez Cloudflare, depuis le 15/09/2026, c’est Disallow AI Training qui tient ce compromis, pas Block. Quant au robots.txt, c’est une préférence, à laquelle l’article 4 de la directive (UE) 2019/790 donne une portée juridique réelle.
Reste la seule chose qu’aucun réglage ne vous dira : ce que votre site perd ou gagne réellement dans les réponses générées. Faites auditer votre visibilité dans les moteurs IA avant de toucher à votre configuration, puis après. C’est le seul écart qui compte.
Quelle différence entre un crawler de moteur de recherche et un crawler IA ?
Un crawler de moteur de recherche construit un index de liens pour renvoyer des résultats avec de courts extraits. Un crawler IA collecte soit pour entraîner ou affiner un modèle, soit pour alimenter une réponse générée en temps réel. Cloudflare formalise ces comportements en trois familles : Search, Training et Agent, qui se pilotent séparément.
Bloquer GPTBot me retire-t-il de ChatGPT ?
La réponse est négative. GPTBot gouverne la collecte pouvant servir à entraîner les modèles d’OpenAI. C’est OAI-SearchBot qui gouverne votre présence dans la recherche ChatGPT, et ce robot n’est pas employé pour l’entraînement. Les deux réglages sont indépendants : vous pouvez bloquer le premier et laisser le second explorer votre site.
Faut-il bloquer Googlebot pour empêcher Google d’entraîner ses modèles ?
Bloquer Googlebot serait une erreur coûteuse : il sert l’exploration pour Google Search et affecte directement votre indexation. Le contrôle dédié à l’usage génératif est Google-Extended. Google indique que ce dernier n’affecte ni l’inclusion dans Google Search ni le classement, ce qui en fait le réglage à employer pour ce besoin.
Les crawlers IA respectent-ils tous le fichier robots.txt ?
Non, et la documentation des opérateurs le dit elle-même. Perplexity indique que Perplexity-User ignore généralement le robots.txt, parce que la requête est déclenchée par une demande explicite d’un utilisateur. Le fichier exprime une préférence : il n’identifie pas qui explore réellement et n’arrête aucun robot décidé à passer outre.
Que faire d’un robot qui ignore le fichier robots.txt ?
Passer à une mesure qui agit au niveau du réseau, puisque le robots.txt n’a aucun pouvoir de contrainte : pare-feu applicatif, outil de gestion des robots chez votre hébergeur, ou règle sur le serveur. Cloudflare recommande d’ailleurs explicitement de combiner les content signals à ces mesures, qu’ils ne remplacent pas.
Peut-on bloquer par adresse IP plutôt que par user-agent ?
Le blocage par adresse IP est techniquement possible, mais Anthropic le déconseille explicitement. Un blocage par adresse peut empêcher l’opérateur de lire votre robots.txt, donc de constater votre opt-out : la contre-mesure invalide alors la préférence qu’elle devait renforcer. Anthropic documente par ailleurs Crawl-delay et demande une règle par sous-domaine.
Où placer le fichier robots.txt ?
À la racine du domaine, et sur chaque sous-domaine séparément. Un fichier posé sur le domaine principal ne couvre pas boutique.votre-domaine.fr ni blog.votre-domaine.fr. Anthropic demande explicitement cette répétition par sous-domaine, et c’est l’oubli le plus fréquent quand un site répartit ses contenus sur plusieurs hôtes.
Comment bloquer l’entraînement IA sur WordPress ?
Servez un fichier robots.txt réel à la racine plutôt que le fichier virtuel généré par WordPress, qu’une extension peut réécrire sans prévenir. Vérifiez ensuite ce qui est réellement renvoyé en appelant l’URL depuis l’extérieur du site : c’est le contenu servi qui fait foi, jamais celui affiché dans l’interface d’administration.
Le fichier robots.txt a-t-il une valeur juridique ?
Pas en lui-même : la RFC 9309 de 09/2022 décrit un protocole technique, pas une obligation. Sa portée vient de l’article L.122-5-3, III, du Code de la propriété intellectuelle, qui reconnaît l’opposition exprimée « par des procédés lisibles par machine ». Le fichier devient alors un élément de preuve d’une réservation de droits.
Qu’est-ce que la Content Signals Policy ?
Une politique publiée par Cloudflare le 24/09/2025 sous licence CC0, qui ajoute au robots.txt trois signaux d’usage : search, ai-input et ai-train. Elle exprime ce qui est autorisé après l’accès, là où le fichier classique ne dit que qui entre et où. Étant sous CC0, elle est réutilisable par n’importe qui.
Bloquer l’entraînement efface-t-il les données déjà collectées ?
Un opt-out vaut pour l’avenir, jamais pour le passé. Aucun des opérateurs cités dans cet article ne documente un retrait rétroactif des jeux de données existants. Bloquer GPTBot ou ClaudeBot aujourd’hui exclut donc les contenus futurs des collectes, sans affecter ce qui a déjà été absorbé.
Faut-il bloquer CCBot, le robot de Common Crawl ?
Bloquer CCBot est une décision distincte des autres, à prendre séparément. CCBot alimente une archive publique du web, ensuite réutilisée par des tiers pour constituer des jeux de données. Le bloquer ne relève donc pas du même arbitrage que GPTBot ou ClaudeBot : vous refusez ici une collecte en amont, pas l’usage d’un opérateur identifié.
Faut-il bloquer Bytespider et le robot de Meta ?
Bytespider (ByteDance) et meta-externalagent (Meta) effectuent des collectes de données distinctes de l’exploration pour la recherche. Ils s’arbitrent donc séparément, comme Amazonbot. Les bloquer ne produit aucun effet sur votre présence dans Google Search, dans la recherche ChatGPT ou dans les résultats de Perplexity.
Bloquer les crawlers IA allège-t-il la charge de mon serveur ?
Bloquer les crawlers IA peut réduire les requêtes des robots qui respectent la préférence exprimée, ce qui ne couvre évidemment pas ceux qui l’ignorent. Cloudflare projette par ailleurs que le trafic des robots dépasse le trafic humain d’ici fin 2029, et qu’en 2031 l’activité des robots seule dépasse la somme du trafic Internet actuel : il s’agit d’une projection, pas d’une mesure.
Article mis à jour le 18 septembre 2026.
Ressources et liens utiles
[2] « Giving users choice with Cloudflare’s new Content Signals Policy », Cloudflare, 24/09/2025
[3] « Overview of OpenAI crawlers », OpenAI
[4] « Est-ce qu’Anthropic collecte des données du web, et comment bloquer le robot d’indexation ? », Anthropic
[5] « Code de la propriété intellectuelle, article L.122-5-3 », Légifrance
[6] « Règlement (UE) 2024/1689 établissant des règles harmonisées concernant l’intelligence artificielle », EUR-Lex, 13/06/2024
Bloquer sans perdre vos citations
Nous relions la décision d’usage, le réglage technique et sa vérification dans les réponses générées.
Découvrir le SEO IA →
