Robots.txt اور سائٹ میپ چیکر

robots.txt

robots.txt سرچ بوٹس کو بتاتا ہے کہ وہ سائٹ کے کون سے حصے کرال کر سکتے ہیں۔ ایک غلط Disallow لائن پوری سائٹ کو گوگل سے چھپا سکتی ہے، اس لیے ہر تبدیلی کے بعد اسے چیک کرنا ضروری ہے۔

XML سائٹ میپ

سائٹ میپ ان صفحات کی فہرست ہے جنہیں آپ انڈیکس کروانا چاہتے ہیں۔ یہ درست XML ہو، ایک فائل میں 50,000 سے کم یو آر ایل ہوں، آپ کا اپنا ڈومین ہو اور بہتر ہے کہ lastmod تاریخیں شامل ہوں۔ اسے robots.txt میں Sitemap لائن سے درج کریں۔