Robôs de busca e robôs de treinamento
As empresas de IA usam dois tipos de robôs. Os robôs de busca como OAI-SearchBot, ChatGPT-User, PerplexityBot e Claude-SearchBot acessam páginas para responder perguntas e citá-las como fontes. Bloqueá-los significa não aparecer nessas respostas. Os robôs de treinamento como GPTBot, ClaudeBot, Google-Extended e CCBot coletam conteúdo para treinar modelos de IA. Bloqueá-los é uma escolha sua e não tira você da busca com IA.
Por que o teste de firewall importa
Muitos sites permitem robôs de IA no robots.txt, mas os bloqueiam sem querer no Cloudflare, em um plugin de segurança ou no firewall da hospedagem. Esta ferramenta solicita sua página com o user agent de cada robô e mostra qualquer bloqueio.
Como resolver um bloqueio
- Remova as regras Disallow para robôs de busca com IA no robots.txt.
- No Cloudflare, confira Security > Bots e permita os robôs de busca com IA verificados.
- Confira plugins de segurança como o Wordfence e as regras do firewall da hospedagem.