robots.txt कैसे काम करती है
robots.txt आपकी साइट के रूट में होती है और बॉट को बताती है कि कौन से पाथ क्रॉल न करें। यह एक अनुरोध है, ताला नहीं: निजी पेजों को पासवर्ड चाहिए।
जानने लायक बातें
- फाइल को robots.txt नाम से रूट फोल्डर (public_html) में अपलोड करें
- वे CSS और JavaScript फाइलें ब्लॉक न करें जिनकी पेजों को जरूरत है
- robots.txt में ब्लॉक करने से पेज Google से नहीं हटता; इसके लिए noindex इस्तेमाल करें
- AI क्रॉलर ब्लॉक करने से नई क्रॉलिंग रुकती है, पहले से इकट्ठा सामग्री नहीं