robots.txt、Google-Extended、IndexNow：给 AI 的开关各管什么？
截至 2026 年 9 月 27 日，robots.txt 向爬虫声明抓取规则；Google-Extended 管指定 Gemini 产品的训练和回答时调用网页内容，不影响 Google 搜索收录或排名；IndexNow 向参与协议的搜索引擎通知网址变化。
三者都不保证收录或 AI 引用，robots.txt 也不能强制所有访问者照办。
先说保证不了的：这几个开关，没有一个能保证你被收录、被 AI 引用。Google 的原话是「Indexing and serving isn't guaranteed」，收录和展示都不保证。robots.txt 这类抓取规则，也不能强制所有访问者照办。它们能做的，是把你的意思讲清楚，讲给愿意听的那部分爬虫和搜索引擎。
下面按你想要的结果，把常用的开关排一排。
想让 AI 搜索能来抓你
我们查到的几家 AI 公司，把「搜索用的」和「训练用的」分成了不同的名字，可以在 robots.txt 里分开放行：
- OpenAI 的搜索用 OAI-SearchBot。它的文档说，退出后不会出现在 ChatGPT 的搜索答案里，但仍可能作为导航链接出现。
- Anthropic 的搜索用 Claude-SearchBot。
- Perplexity 的搜索用 PerplexityBot，官方说它不用来抓训练数据。
- Kimi 的搜索用 Kimi-SearchBot，这是国内我们核到公开了分工的一家。
- Google 的 AI 概览和 AI 模式跟着 Google 搜索走，看的是普通的 Googlebot 规则。
放行只是让它能来，来不来、收不收、引不引，都是对方的事。
不想被拿去训练
对应的名字：
- OpenAI 的 GPTBot 抓取的内容，可能用于训练基础模型。
- Anthropic 是 ClaudeBot。
- Kimi 是 KimiBot。
- Google 是 Google-Extended。它不会单独来抓网页，而是一个用途开关：控制抓到的内容能不能用于未来 Gemini 模型的训练，以及 Gemini Apps 和 Vertex AI 上相应的联网回答用途。禁用它不影响网站进入 Google 搜索，也不是排名信号。
- Apple 是 Applebot-Extended，同样不抓网页，管的是 Apple 已经抓来的数据能不能拿去训练；禁止它，照样可以出现在搜索结果里。
还有一个常被放进这张清单的：Common Crawl。它是一个维护公开网页抓取数据的项目，它的爬虫叫 CCBot。禁止 CCBot，是拒绝它继续来抓你的网站，不等于让已经拿到数据的模型方删除或停用这些数据。
有两点要清楚。第一，这些设置管的主要是以后。Anthropic 的说法是，禁止 ClaudeBot 以后，未来的内容不进训练；已经进去的，我们看到的这几份文档都没承诺删。第二，挡训练和挡别的用途要分开想：禁止 Google-Extended，也会限制部分 Gemini 功能在回答时调用你的网页内容，不只影响训练。
想管 Google 搜索里怎么展示你
这是另一套：想少展示一点内容，可以限制摘要（nosnippet、max-snippet），或者指定某些段落不进摘要（data-nosnippet）；想让整页退出 Google 搜索，才用 noindex。这些设置也会影响普通搜索里的展示，不只管 AI 概览和 AI 模式；而且要让 Googlebot 能抓到页面、读到这些标记，才会生效。它们跟 Google-Extended 不是一回事。
用户让 AI 来打开你的网页时
还有一类，是用户在对话里让 AI 去打开某个网页，AI 临时来取。这一类，各家说法不一样：
- OpenAI 说，用户发起的 ChatGPT-User，robots.txt 规则可能不适用。
- Perplexity 说，用户触发的 Perplexity-User，通常不管 robots.txt。
- Kimi 说，用户触发 Kimi-User 访问时，robots.txt 规则可能不直接适用。
- Anthropic 说它的 Claude-User 遵守，禁止它就能挡住 Claude 在回答用户时来取你的页面。
所以同样写一行禁止，对不同家效果不一样。这一类的细节，我们在第 97 条专门核过。
想让更新快点被发现
IndexNow 是一个通知协议：你的网站有页面新增、改了、删了，就把这些网址发给参与协议的搜索引擎；参与方之间会自动共享你提交的网址。共享的是网址，不是收录结果。
参与方有哪些，官网两处写得不一样：首页列的是 Bing、Naver、Seznam.cz、Yandex、Yep；FAQ 列的提交端点里还有 Amazon。我们 2026 年 9 月 27 日看到的是这样，不替它判断哪一处更全。
FAQ 写得明白：提交能提醒搜索引擎内容变了，但「doesn't guarantee indexing」。自己接入时，要在网站上放一个验证用的钥匙文件，每次更新时发通知；很多网站系统或插件也可能替你做这件事。
真想拦住，要靠另一层
robots.txt 的标准 RFC 9309 写着，这些规则「not a form of access authorization」，不是访问授权；真要控制访问，得用相应的安全措施。比如 Cloudflare 的 AI 爬虫管理，在控制台里封一个爬虫，背后是给你的网站加一条防火墙规则去拦。它的免费方案靠 User-Agent 识别，而名字是可以冒充的。
Cloudflare 2026 年 7 月还发过一则公告，说计划从 9 月 15 日起，新接入的域名里展示广告的页面，默认拦训练类和 agent 类爬虫、放行搜索类；兼有搜索和训练用途的爬虫，按客户设置里最严的那条处理，选了拦训练，搜索抓取也可能一起被拦。这里我们核到的是公告，不是实际生效的情况。
国内几家
截至 2026 年 9 月 27 日，这次核查我们看到的是：
- Kimi 公开了三个名字：KimiBot（训练）、Kimi-SearchBot（搜索）、Kimi-User（用户触发）。
- 百度有公开的 Baiduspider robots 说明，讲的是搜索爬虫，不说明它的 AI 产品有没有单独的开关。
- 字节的头条站长平台有一篇讲 Bytespider 的文档，入口列在页尾，但我们没能读到正文。
- DeepSeek 我们查了用户协议，只写了联网搜索会先检索公开信息；元宝方面，这次尝试访问的腾讯云搜索 API 文档没能读到正文，也没核到元宝爬虫名字和训练、搜索分工的官方说明。这次核查没找到，不等于它们没有。
设完怎么检查
- 看服务器日志：谁来了、抓了什么。但日志里的名字可以冒充，Common Crawl 就专门提醒过有人冒充 CCBot。要确认真身，得按各家公布的 IP 段或反向域名去核。
- 看站长后台里的抓取和收录状态。
- IndexNow 提交成功时，回执只说明通知被接收了，不说明已经收录；提交也可能返回错误。
- 内容有没有被拿去训练，这些记录都验证不了。Google-Extended 本来就没有单独的抓取身份，日志里也查不到它。
我们自己
mubenwave.com 的 robots.txt 声明全放行，部署脚本也接了 IndexNow 通知，并加入了回执存档；现有存档记录了 2026 年 9 月 27 日的一次成功提交。我们想被 AI 找到，所以不挡。这是我们的选择，不是给每个品牌的建议。
也有人不这么看：几种流传的说法
- 「记住 Google-Extended 只控制 Gemini 训练」。 这是一家做 GEO（AI 搜索优化）服务的公司配置手册里的原话。Google 官方写的，除了训练，还有 Gemini Apps 和 Vertex AI 上的联网回答用途。只挡训练、不影响别的，这个想法对 Google-Extended 不成立。
- 「屏蔽第三类等于直接挂断电话」。 一篇中文指南这样比喻用户触发的抓取，意思是那是客户在问你。这是营销类比：用户让 AI 打开你的网页，不一定就是要买东西，屏蔽了也不一定就丢了客户。不过它提醒的那一点是对的：挡用户触发的抓取，影响的是用户在对话里看你的页面。
- 「ChatGPT 将遵守爬虫协议」。 这是 2023 年一篇报道的标题，正文讲的是当时的 GPTBot。今天 OpenAI 已经分出了 GPTBot、OAI-SearchBot、ChatGPT-User，而对用户触发的 ChatGPT-User 访问，robots.txt 规则可能不适用。拿当年的标题套今天，就不对了。
我们的判断是：这些开关值得设，但要按你想要的结果一个一个设，设完再查抓取记录、提交回执和收录状态。至于内容有没有被用于训练，这些记录验证不了；别指望哪一个开关替你决定 AI 怎么对待你。
出处 23 条，A 级 17 条、B 级 1 条、C 级 5 条 · 展开全部
被核的说法之一：工蜂云《Robots.txt 配置手册》（2026-06-17 发布，08-05 更新）：「记住 Google-Extended 只控制 Gemini 训练」。 原文
被核的说法之二：Partsgraph 中文指南（2026-08-09）：「屏蔽第三类等于直接挂断电话。」第三类指用户触发的抓取。 原文
被核的说法之三：量子位文章（2023-08-08 首发，转载在腾讯云开发者社区）：标题「OpenAI：ChatGPT将遵守爬虫协议，网站可拒绝白嫖」，正文讲的是当时的 GPTBot。 原文
Google robots meta 标记说明：noindex 让页面不出现在搜索结果里；nosnippet、max-snippet、data-nosnippet 管摘要；标记要让 Googlebot 抓得到才生效。 原文
头条站长平台《关于Bytespider》文档入口。2026-09-27 我们没能读到正文。 原文
腾讯云《联网搜索API 简介》文档入口。2026-09-27 我们没能读到正文，只作核查记录。 原文
DeepSeek 用户协议（2025-09-05 更新）：「产品将按照输入信息和指令先检索互联网的公开信息」。只说明联网搜索流程，没有爬虫名字和 robots 分工。 原文
Google 搜索中心《AI 功能和您的网站》（最后更新 2025-12-10）：「Indexing and serving isn't guaranteed.」想限制在 AI 概览、AI 模式里的展示，用 nosnippet、data-nosnippet、max-snippet 或 noindex；「To limit AI training and grounding in some of Google's other systems, read more about Google-Extended.」 原文
RFC 9309（2022 年 9 月）：「These rules are not a form of access authorization.」需要访问控制时，要用相应的安全措施。 原文
Google 普通爬虫文档（最后更新 2026-07-14）Google-Extended 一节：管未来 Gemini 模型训练，以及 Gemini Apps 和 Vertex AI 上 Grounding with Google Search 的部分用途；「Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.」没有单独的抓取身份。 原文
OpenAI 爬虫说明：GPTBot 抓的内容「may be used in training our generative AI foundation models」；「OAI-SearchBot is for search」，退出后不出现在 ChatGPT 搜索答案里，但仍可能作为导航链接出现；用户触发的 ChatGPT-User，「robots.txt rules may not apply」。 原文
Anthropic 帮助中心（页面显示 2026-04-07）：ClaudeBot 抓的内容「could potentially contribute to their training」；Claude-SearchBot「navigates the web to improve search result quality」；用户提问时「it may access websites using a Claude-User agent」。说三个都遵守 robots.txt。 原文
Perplexity 爬虫说明：PerplexityBot 管搜索展示和来源链接，「It is not used to crawl content for AI foundation models.」；用户触发的 Perplexity-User「generally ignores robots.txt rules」。 原文
Apple 支持文档（原页标 Published Date 2026-09-04）：「Applebot-Extended does not crawl webpages. Webpages that disallow Applebot-Extended can still be included in search results.」管的是 Applebot 抓来的数据能不能用于训练。 原文
Common Crawl CCBot 页面：给出 robots.txt 拒绝写法，并提供 IP 和反向 DNS 核验方法，提醒有冒充 CCBot 的抓取者。 原文
Kimi 爬虫说明：KimiBot 抓的内容「potentially used to train Kimi's foundation models」；「Kimi-SearchBot powers Kimi's search features」；用户触发的 Kimi-User「robots.txt rules may not directly apply」。页面没标日期。 原文
百度 robots 说明：「If the file exists, spider will access the contents and work according to the instructions.」讲的是搜索爬虫 Baiduspider，不说明百度的 AI 产品有没有单独的开关。 原文
IndexNow 官网首页（2026-09-27 读取）：「has support from Microsoft Bing, Naver, Seznam.cz, Yandex, Yep.」文档：参与的引擎会把提交的网址自动共享给其他参与引擎。 原文
IndexNow FAQ：提交能提醒搜索引擎内容变了，「it doesn't guarantee indexing」；FAQ 列的提交端点里还有 Amazon，跟首页名单不一致。 原文
Cloudflare AI Crawl Control 文档（最后更新 2026-07-28）：在控制台里封禁一个爬虫时，「the system creates or updates a WAF custom rule on your zone to enforce that block」；免费方案靠 User-Agent 识别。 原文
Cloudflare 博客（2026-07-01 发布，预告 2026-09-15 实施）：新接入域名里展示广告的页面，默认拦训练和 agent 类爬虫、放行搜索类；兼有搜索和训练用途的爬虫，按客户设置里最严的那条处理。这里核到的是公告，不是实际生效情况。 原文
母本的 robots.txt：「User-agent: *」「Allow: /」，并列出 sitemap。 原文
母本的 IndexNow 回执存档：部署脚本每次提交都记下时间、返回码和网址。例：2026-09-27 14:38:46，返回 200，提交 https://mubenwave.com/geo/。返回 200 只说明通知被接收。存档在我们的项目仓库里，不公开。 原文
大家也这样问
- robots.txt怎么设置允许AI抓取？
- Google-Extended是什么？
- IndexNow有用吗？