सर्च क्रॉलर और ट्रेनिंग क्रॉलर
AI कंपनियां दो तरह के बॉट इस्तेमाल करती हैं। OAI-SearchBot, ChatGPT-User, PerplexityBot और Claude-SearchBot जैसे सर्च क्रॉलर सवालों के जवाब देने के लिए पेज लाते हैं और उन्हें स्रोत के रूप में लिंक करते हैं। इन्हें ब्लॉक करने का मतलब है कि आप उन जवाबों में नहीं दिखेंगे। GPTBot, ClaudeBot, Google-Extended और CCBot जैसे ट्रेनिंग क्रॉलर AI मॉडल की ट्रेनिंग के लिए सामग्री इकट्ठा करते हैं। इन्हें ब्लॉक करना आपका फैसला है और इससे आप AI सर्च से बाहर नहीं होते।
फायरवॉल टेस्ट क्यों जरूरी है
कई साइटें robots.txt में AI बॉट को अनुमति देती हैं लेकिन Cloudflare, किसी सिक्योरिटी प्लगइन या होस्टिंग फायरवॉल में गलती से उन्हें ब्लॉक कर देती हैं। यह टूल हर क्रॉलर के यूज़र एजेंट से आपका पेज मांगता है और कोई भी ब्लॉक दिखाता है।
ब्लॉक कैसे हटाएं
- robots.txt में AI सर्च क्रॉलर के लिए Disallow नियम हटाएं।
- Cloudflare में Security > Bots देखें और सत्यापित AI सर्च बॉट को अनुमति दें।
- Wordfence जैसे सिक्योरिटी प्लगइन और अपनी होस्टिंग फायरवॉल के नियम जांचें।