robots.txt
robots.txt 告诉搜索爬虫可以抓取网站的哪些部分。一行错误的 Disallow 就可能让整个网站从 Google 中消失，所以每次修改后都应检查。
XML 站点地图
站点地图列出您希望被索引的页面。它应是有效的 XML，每个文件少于 50,000 个网址，只包含您自己的域名，最好带有 lastmod 日期。在 robots.txt 中用 Sitemap 行列出它。
Robots.txt 和站点地图检测
读取网站的 robots.txt 和站点地图，测试路径是否被屏蔽。