Arama tarayıcıları ve eğitim tarayıcıları
AI şirketleri iki tür bot kullanır. OAI-SearchBot, ChatGPT-User, PerplexityBot ve Claude-SearchBot gibi arama tarayıcıları soruları yanıtlamak için sayfaları alır ve onları kaynak olarak bağlar. Bunları engellerseniz bu yanıtlarda görünmezsiniz. GPTBot, ClaudeBot, Google-Extended ve CCBot gibi eğitim tarayıcıları AI modellerini eğitmek için içerik toplar. Bunları engellemek sizin tercihinizdir ve sizi AI aramadan çıkarmaz.
Güvenlik duvarı testi neden önemli
Birçok site robots.txt dosyasında AI botlarına izin verir ama Cloudflare, bir güvenlik eklentisi veya hosting güvenlik duvarında onları yanlışlıkla engeller. Bu araç sayfanızı her tarayıcının user agent'ı ile ister ve olası engelleri gösterir.
Bir engel nasıl kaldırılır
- robots.txt dosyasındaki AI arama tarayıcıları için Disallow kurallarını kaldırın.
- Cloudflare'de Security > Bots bölümünü kontrol edin ve doğrulanmış AI arama botlarına izin verin.
- Wordfence gibi güvenlik eklentilerini ve hosting güvenlik duvarı kurallarınızı kontrol edin.