Как работает генератор
Краулер начинает с указанного адреса, идёт по внутренним ссылкам и сохраняет страницы, которые отвечают кодом 200 и разрешают индексацию. Редиректы, страницы с noindex, закрытые пути и страницы с другим canonical пропускаются.
После скачивания
- Загрузите sitemap.xml в корень сайта
- Добавьте в robots.txt строку «Sitemap: https://вашдомен.ru/sitemap.xml»
- Отправьте карту в Google Search Console и Bing Webmaster Tools
Крупным сайтам лучше использовать плагин или встроенную карту сайта CMS, которая обновляется автоматически.