✦ À retenir
Depuis le 15 septembre 2026, Cloudflare classe Googlebot, Bingbot et Applebot comme crawlers “polyvalents” : bloquer l’entraînement IA, y compris via l’option “Block AI bots”, peut donc aussi les bloquer. Résultat possible : des erreurs 403 et une disparition de Google, de Bing et des réponses IA. Mieux vaut vérifier ses réglages CDN, la Search Console et ses logs, et bloquer les crawlers d’entraînement un par un plutôt que par catégorie.
Oui. Depuis le 15 septembre 2026, un site qui bloque les crawlers IA d'entraînement via Cloudflare peut aussi bloquer Googlebot, Bingbot et Applebot. La raison : ces robots sont classés comme polyvalents, car ils servent à la fois l'indexation classique et l'intelligence artificielle. Cet article détaille ce qui a changé, les risques pour votre visibilité et les vérifications à faire pour éviter de disparaître des résultats de recherche.
Que change la nouvelle règle de Cloudflare sur les crawlers IA ?
Cloudflare classe désormais les crawlers IA en trois catégories. La première regroupe les crawlers de recherche, qui alimentent les moteurs et les réponses générées. La deuxième concerne les agents IA, qui visitent les sites pour le compte d'assistants conversationnels. La troisième rassemble les crawlers d'entraînement, qui collectent des données pour améliorer les modèles de langage.
Depuis le 15 septembre 2026, Cloudflare bloque par défaut les crawlers d'entraînement et d'agent sur les pages affichant de la publicité. Ce réglage s'applique aux nouveaux domaines, aux nouveaux sites des comptes existants et aux comptes gratuits qui n'avaient pas modifié leurs paramètres. Surtout, tout site qui bloque l'entraînement est concerné par la règle sur les crawlers polyvalents, y compris via l'ancienne option « Block AI bots ». Si vous l'aviez activée en un clic, vous risquez de bloquer des robots essentiels à votre référencement.
La chronologie s'étale sur un an. En juillet 2025, Cloudflare lance le blocage des bots IA en un clic et le modèle Pay-Per-Crawl. Le 1er juillet 2026, l'entreprise annonce la nouvelle classification et les réglages par défaut. Le 15 septembre 2026, ces réglages entrent en vigueur. Le blog officiel de Cloudflare détaille ces règles, qui peuvent encore évoluer : vérifiez la documentation à jour avant toute modification.
Pourquoi bloquer les crawlers IA peut-il bloquer Google ?
Googlebot, Bingbot, Applebot : des crawlers polyvalents
Googlebot ne sert plus seulement à indexer les pages pour les résultats classiques. Il alimente aussi l'AI Overview de Google et AI Mode. Bingbot et Applebot suivent la même logique, en servant à la fois la recherche et les fonctions d'IA de leurs écosystèmes.
Cloudflare classe ces trois robots dans la catégorie « recherche + entraînement » et leur applique la règle la plus restrictive. Concrètement, si vous bloquez l'entraînement, ils sont bloqués aussi, même si les crawlers de recherche restent autorisés. À noter : Google-Extended, qui permet d'exclure ses contenus de l'entraînement des modèles de Google, n'a aucun effet sur Google Search. Le bloquer n'affecte donc pas votre indexation, contrairement à un blocage de Googlebot.
Des blocages déjà signalés par des éditeurs
Le problème n'est pas théorique. Plusieurs éditeurs ont signalé dès août 2026 des erreurs 403 renvoyées à Googlebot par le blocage IA de Cloudflare, comme l'ont relevé Playwire et RankX AI. Certains administrateurs ne s'en rendent compte qu'en constatant une hausse brutale des erreurs d'exploration dans la Search Console.
Crawler | Catégorie Cloudflare | Effet d'un blocage sur la recherche | Effet sur les réponses IA |
Googlebot | Recherche + entraînement | Pages non explorées, donc absentes de Google Search | Absence des AI Overviews et d'AI Mode |
Google-Extended | Entraînement | Aucun | Contenus exclus de l'entraînement des modèles de Google |
Bingbot | Recherche + entraînement | Pages non explorées par Bing | Visibilité réduite dans les services IA qui s’appuient sur Bing |
Applebot | Recherche + entraînement | Pages non explorées par Apple | Visibilité réduite dans les fonctions de recherche et d'IA d'Apple |
Pare-feu anti-IA : quels risques pour la visibilité de votre site ?
Bloquer les mauvais crawlers entraîne plusieurs conséquences directes :
- Pages non explorées par Google ou Bing, et donc exclues des résultats de recherche classiques
- Absence des AI Overviews et d'AI Mode, qui captent une part croissante de l'attention
- Perte de citations dans ChatGPT ou Perplexity si leurs crawlers de recherche sont bloqués
- Incohérence entre le robots.txt et le pare-feu, avec des robots autorisés par l'un mais bloqués par l'autre
Ces pertes se voient aussi dans vos statistiques : une baisse soudaine du trafic issu des LLMs après un changement de configuration doit alerter.
Cloudflare n'est pas le seul concerné. D'autres CDN, pare-feu applicatifs ou extensions WordPress proposent des réglages anti-IA, parfois sans distinguer entraînement et recherche. Plus vous empilez les couches de protection, plus le risque de blocage involontaire augmente.
Le robots.txt et le pare-feu sont deux mécanismes distincts. Le premier indique aux robots quelles pages ne pas explorer, mais reste une simple demande que certains ignorent. Le second bloque techniquement l'accès en renvoyant une erreur 403. Un robot autorisé dans le robots.txt peut donc être bloqué par le pare-feu : les deux couches doivent rester cohérentes.
Comment vérifier que votre pare-feu ne bloque pas les bons crawlers IA ?
- Contrôlez les réglages IA de votre CDN. Identifiez les catégories bloquées (recherche, agent, entraînement) et vérifiez si l'ancienne option « Block AI bots » est encore active.
- Comparez ces réglages avec votre robots.txt. Assurez-vous qu'aucun robot essentiel n'est bloqué par l'une des deux couches sans raison valable.
- Surveillez les erreurs d'exploration dans la Search Console. Une hausse soudaine des erreurs 403 sur Googlebot signale souvent un problème de pare-feu.
- Analysez les logs serveur. Recherchez les user-agents de Googlebot, Bingbot ou Applebot et vérifiez s'ils reçoivent des erreurs 403.
- Testez des prompts dans ChatGPT, Perplexity ou Google AI Mode. Une chute brutale des citations après un changement de configuration indique un blocage.
Le suivi des prompts de Search Ai permet de repérer rapidement une chute de citations après un changement de réglage.
Pour un diagnostic plus complet de votre visibilité dans les moteurs génératifs, un audit GEO fait le point sur l'ensemble des freins, techniques ou non.
Pour approfondir les réglages techniques qui comptent pour être cité, consultez notre article sur le GEO technique.
Questions fréquentes
Bloquer les crawlers d'entraînement affecte-t-il mon référencement Google ?
Pas si vous bloquez uniquement Google-Extended. En revanche, sur Cloudflare, bloquer la catégorie entraînement bloque aussi Googlebot, classé comme crawler polyvalent. Vérifiez toujours ce que couvre le réglage activé.
Puis-je autoriser Googlebot tout en bloquant les autres crawlers IA ?
Oui, mais pas avec le seul blocage par catégorie de Cloudflare, qui entraîne Googlebot avec l'entraînement. Cloudflare prévoyait une option de désactivation de cette règle dans les réglages de sécurité : vérifiez sa disponibilité actuelle. À défaut, bloquez les crawlers d'entraînement un par un (comme GPTBot ou ClaudeBot) plutôt que par catégorie.
Les réglages par défaut de Cloudflare bloquent-ils Googlebot ?
Ils peuvent le faire sur les pages avec publicité des nouveaux domaines, des nouveaux sites et des comptes gratuits qui n'avaient pas modifié leurs réglages, puisque l'entraînement y est bloqué par défaut. Et quel que soit le type de compte, tout site qui a activé le blocage de l'entraînement, y compris via l'ancienne option « Block AI bots », est concerné.
Comment savoir si mon site est bloqué par un pare-feu anti-IA ?
Consultez la Search Console pour détecter les erreurs 403 sur Googlebot, analysez vos logs serveur pour repérer les requêtes bloquées, et testez des prompts dans les outils conversationnels pour vérifier que votre contenu est toujours cité.
Faut-il bloquer tous les crawlers IA pour protéger son contenu ?
Non. Bloquer indistinctement tous les crawlers IA réduit votre visibilité dans les réponses générées et peut affecter votre indexation classique. Privilégiez une approche sélective, en ne bloquant que les crawlers d'entraînement si vous souhaitez protéger vos données, et en vérifiant que ce blocage n'entraîne pas Googlebot.
À propos de l'auteur
Antonia
R&D & IA, CPO Search Ai
Antonia est Chief Product Officer (CPO) de Search Ai, une plateforme GEO (Generative Engine Optimisation) pour mesurer, piloter et optimiser la visibilité des marques dans les moteurs d'IA générative comme ChatGPT, Gemini, Perplexity, .... Avec plus de 10 ans d'exeprience en tant qu'ingénieur R&D, elle continue à travailler à l'intersection de la R&D et du business, et transformer les avancées en IA en fonctionnalités concrètes pour les équipes marketing.