Rastreadores de búsqueda y de entrenamiento
Las empresas de IA usan dos tipos de bots. Los rastreadores de búsqueda como OAI-SearchBot, ChatGPT-User, PerplexityBot y Claude-SearchBot visitan páginas para responder preguntas y enlazarlas como fuentes. Si los bloqueas, no aparecerás en esas respuestas. Los rastreadores de entrenamiento como GPTBot, ClaudeBot, Google-Extended y CCBot recopilan contenido para entrenar modelos de IA. Bloquearlos es decisión tuya y no te saca de la búsqueda con IA.
Por qué importa la prueba de firewall
Muchos sitios permiten los bots de IA en robots.txt pero los bloquean por error en Cloudflare, en un plugin de seguridad o en el firewall del hosting. Esta herramienta solicita tu página con el user agent de cada rastreador y muestra cualquier bloqueo.
Cómo quitar un bloqueo
- Elimina las reglas Disallow para rastreadores de búsqueda con IA en robots.txt.
- En Cloudflare, revisa Security > Bots y permite los bots de búsqueda con IA verificados.
- Revisa plugins de seguridad como Wordfence y las reglas del firewall de tu hosting.