SEO Scan Instant

Robots.txt जनरेटर

चुनें कि सर्च इंजन और बॉट क्या क्रॉल कर सकते हैं, फिर अपनी robots.txt डाउनलोड करें।

AI क्रॉलर ब्लॉक करें
एसईओ टूल क्रॉलर ब्लॉक करें

robots.txt


    

फाइल को robots.txt नाम से अपनी साइट के रूट फोल्डर में अपलोड करें, फिर हमारे Robots.txt चेकर से टेस्ट करें।

robots.txt कैसे काम करती है

robots.txt आपकी साइट के रूट में होती है और बॉट को बताती है कि कौन से पाथ क्रॉल न करें। यह एक अनुरोध है, ताला नहीं: निजी पेजों को पासवर्ड चाहिए।

जानने लायक बातें

  • फाइल को robots.txt नाम से रूट फोल्डर (public_html) में अपलोड करें
  • वे CSS और JavaScript फाइलें ब्लॉक न करें जिनकी पेजों को जरूरत है
  • robots.txt में ब्लॉक करने से पेज Google से नहीं हटता; इसके लिए noindex इस्तेमाल करें
  • AI क्रॉलर ब्लॉक करने से नई क्रॉलिंग रुकती है, पहले से इकट्ठा सामग्री नहीं