robotstxt 怎么用：robots.txt 写法、作用与常见问题全解析

📍 WDQWDWQD987AAAAA:216.73.217.143
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /8fe07586814e.html
📄

robotstxt 是什么

robotstxt 通常指网站根目录下的 robots.txt 文件，是搜索引擎爬虫访问网站时最先读取的协议文件。它通过简单的文本指令告诉爬虫哪些目录可以抓取、哪些应当避开，从而帮助站长管理抓取范围与服务器压力。

robotstxt 的基本写法

一个规范的 robotstxt 文件由若干条记录组成，每条记录以 User-agent 开头，后接 Allow 或 Disallow 规则。例如：

• User-agent: * 表示规则适用于所有爬虫；
• Disallow: /admin/ 表示禁止抓取后台目录；
• Allow: /admin/public/ 表示在禁止范围内开放特定路径；
• Sitemap: https://example.com/sitemap.xml 用于声明站点地图地址。

编写时应保持规则简洁，避免同一路径出现互相冲突的 Allow 与 Disallow。

robotstxt 的常见误区

误区一：robots.txt 能阻止页面被收录

robotstxt 只限制抓取，不限制索引。若页面已被外部链接指向，搜索引擎仍可能收录其 URL，只是无法获取内容。需要彻底移除时，应配合 noindex 或删除页面。

误区二：Disallow 可以保护隐私

robotstxt 是公开文件，任何人都能查看。用它隐藏敏感目录反而会暴露路径，真正的隐私内容应通过权限控制保护。

robotstxt 的优化建议

1. 将文件放在网站根目录，确保返回 200 状态码；
2. 使用绝对路径书写规则，避免相对路径歧义；
3. 定期检查语法，防止错误规则误伤整站抓取；
4. 在文件中声明 Sitemap，方便爬虫发现内容。

合理使用 robotstxt，既能降低服务器负载，也能让搜索引擎更高效地抓取重要页面，是站点 SEO 基础工作中不可忽视的一环。