robots.txt
O robots.txt diz aos robôs de busca quais partes do site eles podem rastrear. Uma única linha Disallow errada pode esconder o site inteiro do Google, por isso vale verificar depois de cada alteração.
Sitemap XML
O sitemap lista as páginas que você quer indexar. Ele deve ser um XML válido, ter menos de 50.000 URLs por arquivo, usar o seu próprio domínio e, de preferência, incluir datas lastmod. Informe-o no robots.txt com uma linha Sitemap.