GEO Labs · GEO名词注解 · 2026年11月2日 · GEO Labs 研究部

本条为 GEO Labs 对行业常用词的注解，口径以本机构使用约定为准，非行业标准；词义随行业发展变化。最后核对日期：2026-11-02。

robots.txt是什么（一句话说清）

robots.txt（机器人排除协议，Robots Exclusion Protocol）是网站放在根路径下的一份文本文件，用来告知爬虫程序哪些网址可以抓取、哪些请求不要抓取；它是请求，不是访问授权。

robots.txt不是什么（常见误解）

• 不是访问控制。

  标准原文明确写道：这些规则不是一种访问授权（not a form of access authorization）。需要保密的内容应使用登录、权限等手段。

• 不是"禁止被 AI 引用"的开关。

  它只管爬虫能否抓取；是否被收录、引用，取决于各平台自己的策略。

• 不是对所有 AI 爬虫一刀切。

  同一家公司可能有多个爬虫，用途不同，需分别设置。

robots.txt在AI时代的常见口径

robots.txt 本身是 2022 年定为互联网标准的协议（IETF RFC 9309）。AI 相关的新问题在于：一家 AI 公司往往运行多个爬虫，各管一类用途。以 Anthropic 官方说明为例：

爬虫（User-agent）	官方说明的用途	站点限制它的后果（官方表述）
ClaudeBot	收集可能用于模型训练的网页内容	表示该站点未来的内容应排除在训练数据之外
Claude-User	用户提问时，按用户指令访问网站	可能降低站点在用户发起的联网检索中的可见度
Claude-SearchBot	为改进搜索结果质量而抓取、索引	内容不会被索引用于搜索优化，可能降低可见度与准确性

要点："不让训练"与"不让检索"是两件事，在 robots.txt 里是不同的规则行。其他 AI 公司的爬虫分类与名称各不相同，以各家官方文档为准。

robots.txt的口径差异与争议

• 遵守靠自律

  ：协议规定爬虫应遵循规则，但没有技术手段强制；是否遵守取决于爬虫运营方。Anthropic 官方称其爬虫遵循 robots.txt 并支持非标准的 Crawl-delay 指令（该指令不在 RFC 9309 之内）。

• 屏蔽的取舍

  ：全部屏蔽可能同时降低在 AI 检索回答中的可见度；只屏蔽训练类爬虫、放行检索类爬虫是一种常见思路。这是 GEO Labs 的分析，不是行业共识，也不保证效果。

• 各平台细则未公开处较多

  ，尤其是中国大陆平台的爬虫名称与遵守情况，本条不作断言。

GEO Labs 对robots.txt的使用约定

GEO Labs 提到"对 AI 爬虫开放/屏蔽"时，写明具体爬虫名称及其用途（训练、检索、用户触发），不笼统说"屏蔽 AI"。

读robots.txt相关说法时的三个问题

1. 说的是哪个爬虫？

   训练、检索还是用户触发，影响完全不同。

2. 依据是官方文档还是经验？

   爬虫名称与行为以运营方官方页面为准。

3. 有没有区分"抓取"与"引用"？

   放行抓取不等于会被引用。

常见问法

robots.txt 和 llms.txt 有什么区别？robots.txt 是有正式标准的抓取许可声明；llms.txt 是提议性文件，各平台是否读取尚无统一结论。

屏蔽了 ClaudeBot 还会出现在 Claude 的回答里吗？官方说明三个爬虫分别设置，屏蔽训练爬虫不等于屏蔽检索与用户触发访问。

出处

• IETF｜RFC 9309《Robots Exclusion Protocol》｜2022年9月（已核原文：摘要、"not a form of access authorization"、爬虫 MUST 遵循匹配组规则）。

• Anthropic｜《Does Anthropic crawl data from the web, and how can site owners block the crawler?》｜页面标注 2026年4月7日（已核原页：三个爬虫的用途与限制后果、遵循 robots.txt、Crawl-delay 为非标准扩展）。

• 说明：OpenAI、Google 等其他公司的爬虫文档本次未能访问原页，正文未引用其具体说法，发布前如需扩展须另行核对。

相关词

GEO · 可见度 · 引用率

修订记录：2026-11-02｜首稿

免责声明：本内容基于已标注公开资料整理，仅供产业观察与信息参考，不构成投资、商业或法律建议；术语口径存在适用范围，读者决策前请独立核实。

GEO Labs 标准解读研究 · 供应 · 连接
监测素材服务于后续深度研究，不停更