robots.txt
robots.txt indica a los robots de búsqueda qué partes de un sitio pueden rastrear. Una sola línea Disallow equivocada puede ocultar todo el sitio a Google, por eso conviene revisarlo después de cada cambio.
Sitemap XML
Un sitemap enumera las páginas que quieres indexar. Debe ser XML válido, tener menos de 50.000 URLs por archivo, usar tu propio dominio e incluir idealmente fechas lastmod. Inclúyelo en robots.txt con una línea Sitemap.