Crawler pencarian dan crawler pelatihan
Perusahaan AI memakai dua jenis bot. Crawler pencarian seperti OAI-SearchBot, ChatGPT-User, PerplexityBot, dan Claude-SearchBot mengambil halaman untuk menjawab pertanyaan dan menautkannya sebagai sumber. Jika diblokir, situs Anda tidak akan muncul di jawaban tersebut. Crawler pelatihan seperti GPTBot, ClaudeBot, Google-Extended, dan CCBot mengumpulkan konten untuk melatih model AI. Memblokirnya adalah pilihan Anda dan tidak mengeluarkan Anda dari pencarian AI.
Mengapa tes firewall penting
Banyak situs mengizinkan bot AI di robots.txt tetapi tanpa sadar memblokirnya di Cloudflare, plugin keamanan, atau firewall hosting. Alat ini meminta halaman Anda dengan user agent setiap crawler dan menunjukkan blokir yang terjadi.
Cara memperbaiki blokir
- Hapus aturan Disallow untuk crawler pencarian AI di robots.txt.
- Di Cloudflare, periksa Security > Bots dan izinkan bot pencarian AI yang terverifikasi.
- Periksa plugin keamanan seperti Wordfence dan aturan firewall hosting Anda.