robots.txt
Die robots.txt sagt Suchmaschinen-Bots, welche Bereiche einer Website sie crawlen dürfen. Eine einzige falsche Disallow-Zeile kann die ganze Website vor Google verbergen, deshalb lohnt sich eine Prüfung nach jeder Änderung.
XML-Sitemap
Eine Sitemap listet die Seiten auf, die indexiert werden sollen. Sie sollte gültiges XML sein, weniger als 50.000 URLs pro Datei enthalten, Ihre eigene Domain nutzen und idealerweise lastmod-Daten haben. Tragen Sie sie mit einer Sitemap-Zeile in die robots.txt ein.