Robots de recherche et robots d'entraînement
Les entreprises d'IA utilisent deux types de robots. Les robots de recherche comme OAI-SearchBot, ChatGPT-User, PerplexityBot et Claude-SearchBot visitent les pages pour répondre aux questions et les citer comme sources. Les bloquer signifie que vous n'apparaîtrez pas dans ces réponses. Les robots d'entraînement comme GPTBot, ClaudeBot, Google-Extended et CCBot collectent du contenu pour entraîner des modèles d'IA. Les bloquer est votre choix et ne vous retire pas de la recherche IA.
Pourquoi le test de pare-feu compte
Beaucoup de sites autorisent les robots IA dans robots.txt mais les bloquent par erreur dans Cloudflare, un plugin de sécurité ou le pare-feu de l'hébergeur. Cet outil demande votre page avec le user agent de chaque robot et montre tout blocage.
Comment corriger un blocage
- Supprimez les règles Disallow pour les robots de recherche IA dans robots.txt.
- Dans Cloudflare, vérifiez Security > Bots et autorisez les robots de recherche IA vérifiés.
- Vérifiez les plugins de sécurité comme Wordfence et les règles du pare-feu de votre hébergeur.