robots.txt 如何工作
robots.txt 位于网站根目录，告诉爬虫不要抓取哪些路径。它只是请求，不是锁：私密页面需要密码保护。
需要了解的事项
- 将文件命名为 robots.txt 并上传到根目录（public_html）
- 不要屏蔽页面所需的 CSS 和 JavaScript 文件
- 在 robots.txt 中屏蔽不会把页面从 Google 中移除；请使用 noindex
- 屏蔽 AI 爬虫只能阻止新的抓取，无法撤回已收集的内容
Robots.txt 生成器
选择搜索引擎和爬虫可以抓取的内容，然后下载您的 robots.txt。
robots.txt
将文件命名为 robots.txt 上传到网站根目录，然后用我们的 Robots.txt 检测工具测试。