robots.txt
robots.txt сообщает поисковым роботам, какие разделы сайта можно сканировать. Одна ошибочная строка Disallow может скрыть весь сайт от Google, поэтому файл стоит проверять после каждого изменения.
XML-карта сайта
Карта сайта перечисляет страницы, которые нужно индексировать. Это должен быть валидный XML, менее 50 000 URL на файл, только ваш домен и, желательно, даты lastmod. Укажите карту в robots.txt строкой Sitemap.