Robots.txt और साइटमैप चेकर

robots.txt

robots.txt सर्च बॉट को बताता है कि वे साइट के कौन से हिस्से क्रॉल कर सकते हैं। एक गलत Disallow लाइन पूरी साइट को Google से छिपा सकती है, इसलिए हर बदलाव के बाद इसे जांचना जरूरी है।

XML साइटमैप

साइटमैप उन पेजों की सूची है जिन्हें आप इंडेक्स कराना चाहते हैं। यह वैध XML हो, एक फाइल में 50,000 से कम URL हों, आपका अपना डोमेन हो और बेहतर है कि lastmod तारीखें हों। इसे robots.txt में Sitemap लाइन से जोड़ें।