زواحف البحث وزواحف التدريب
تستخدم شركات الذكاء الاصطناعي نوعين من الروبوتات. زواحف البحث مثل OAI-SearchBot وChatGPT-User وPerplexityBot وClaude-SearchBot تجلب الصفحات للإجابة عن الأسئلة وتضع روابطها كمصادر، وحظرها يعني ألا تظهر في تلك الإجابات. أما زواحف التدريب مثل GPTBot وClaudeBot وGoogle-Extended وCCBot فتجمع المحتوى لتدريب نماذج الذكاء الاصطناعي، وحظرها قرارك ولا يخرجك من البحث بالذكاء الاصطناعي.
لماذا يهم اختبار الجدار الناري
تسمح مواقع كثيرة بروبوتات الذكاء الاصطناعي في robots.txt لكنها تحظرها بالخطأ في Cloudflare أو في إضافة أمان أو في الجدار الناري للاستضافة. تطلب هذه الأداة صفحتك بوكيل المستخدم الخاص بكل زاحف وتعرض أي حظر.
كيف تزيل الحظر
- احذف قواعد Disallow لزواحف البحث بالذكاء الاصطناعي في robots.txt.
- في Cloudflare راجع Security > Bots واسمح بروبوتات البحث بالذكاء الاصطناعي الموثقة.
- راجع إضافات الأمان مثل Wordfence وقواعد الجدار الناري في استضافتك.