Поисковые и обучающие роботы
AI-компании используют два типа роботов. Поисковые роботы, например OAI-SearchBot, ChatGPT-User, PerplexityBot и Claude-SearchBot, загружают страницы, чтобы отвечать на вопросы и ссылаться на них как на источники. Если их заблокировать, вас не будет в этих ответах. Обучающие роботы, например GPTBot, ClaudeBot, Google-Extended и CCBot, собирают контент для обучения AI-моделей. Блокировать их или нет, решаете вы, и это не убирает вас из AI-поиска.
Зачем нужен тест файрвола
Многие сайты разрешают AI-роботов в robots.txt, но случайно блокируют их в Cloudflare, плагине безопасности или файрволе хостинга. Этот инструмент запрашивает вашу страницу с user agent каждого робота и показывает любые блокировки.
Как снять блокировку
- Удалите правила Disallow для роботов AI-поиска в robots.txt.
- В Cloudflare проверьте раздел Security > Bots и разрешите проверенных роботов AI-поиска.
- Проверьте плагины безопасности, например Wordfence, и правила файрвола хостинга.