فاحص robots.txt وخريطة الموقع

robots.txt

يخبر ملف robots.txt روبوتات البحث بالأجزاء التي يمكنها زحفها في الموقع. سطر Disallow خاطئ واحد قد يخفي الموقع بالكامل عن جوجل، لذا يستحق الفحص بعد كل تعديل.

خريطة الموقع XML

تسرد خريطة الموقع الصفحات التي تريد فهرستها. يجب أن تكون XML صالحًا، وأن تضم أقل من 50,000 رابط في الملف الواحد، وأن تستخدم نطاقك، ويُفضّل أن تتضمن تواريخ lastmod. اذكرها في robots.txt بسطر Sitemap.