这条在：GEO 图书馆 · 机制：AI 怎么找、怎么挑、怎么写
AI 爬虫分几种？训练、搜索、用户触发各是什么？
截至 2026 年 10 月 1 日，按本文引用的官方文档，OpenAI、Anthropic、Kimi、亚马逊把 AI 爬虫按用途分成三种身份：训练用的（如 GPTBot、ClaudeBot）、给自家 AI 搜索建索引的（如 OAI-SearchBot）、用户在对话里提问时临时取网页的（如 ChatGPT-User）。
OpenAI 写明可以只挡训练、放行搜索，但两个都放行时，一次抓取可能两用。Google 和苹果没有单设训练爬虫，靠 robots.txt 里的开关管训练用途；国内平台里，我们只找到 Kimi 公开了这三类。
这个问题一般是这么冒出来的：技术同事问，robots.txt 里要不要把 AI 爬虫挡了；或者有人翻网站日志，看到一串 GPTBot、ClaudeBot、ChatGPT-User，不知道哪个是来干什么的。对做 GEO（AI 搜索优化）的人来说，这几种爬虫得先分清：想挡训练，名字写错一个，挡掉的可能是 AI 搜索里的露出。
下面说的都是各家自己文档里的写法，是它们的自述，不是谁审计过的。
按用途分身份的几家
OpenAI 的文档开头就交代了，它的爬虫要么自动来，要么是用户请求才来，照这个思路给不同用途起了不同的名字。Anthropic、Kimi、亚马逊也是这么分的；Meta 也是三个名字，可训练和索引都写在 Meta-ExternalAgent 一个名字里；Perplexity 的官方页只列了两个：
| 公司 | 训练 | 搜索 | 用户触发 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Kimi | KimiBot | Kimi-SearchBot | Kimi-User |
| 亚马逊 | Amazonbot（改进产品，可能用于训练） | Amzn-SearchBot | Amzn-User |
| Meta | Meta-ExternalAgent（训练或索引） | Meta-WebIndexer | Meta-ExternalFetcher |
| Perplexity | 官方页没列；它说列出的两个都不用于训练基础模型 | PerplexityBot | Perplexity-User |
表里是各家文档公布的名称，像 OpenAI、Perplexity、Kimi，这个名字就嵌在来访的那一长串 User-Agent 里。可 UA 谁都能自报，日志里有这个名字，不等于请求真是它家发的。
训练：抓回去，可能拿来训模型
GPTBot 的原话是，抓的内容「may be used in training」；ClaudeBot、KimiBot 写的也都是「potentially」，可能有助于训练。禁掉它们，OpenAI 的说法是「indicates」，Kimi 是「signals」，都是表明这个站不想被拿去训练。Anthropic 还把时间说清楚了，排除的是这个站「future materials」，也就是以后的内容。已经抓走、已经训过的怎么办，这几份文档里我们没看到说法。
国内有一份推荐性国标 GB/T 45654—2025 也管到这一类：用自采的训练数据时，不应该采「已通过爬虫协议（robots 协议）……明确表明不可采集的网页数据」。这一条说的是训练数据，搜索索引和用户触发两类，它没另外写。
搜索：给自家 AI 搜索建索引
这一类跟 GEO 挨得最近。OpenAI 说禁了 OAI-SearchBot，网站就不会出现在 ChatGPT 的搜索回答里，不过还可能作为导航链接露面。Anthropic 说禁了 Claude-SearchBot，它就没法为搜索索引你的内容，「may reduce」你的可见度。Kimi 说得最干脆：禁了 Kimi-SearchBot，站点就不会出现在 Kimi 的搜索结果里。Perplexity 则专门补了一句，PerplexityBot 和 Perplexity-User 都不用于给基础模型抓内容；这是它自己说的，公司别处有没有训练数据来源，页面没说。
「挡了训练不等于挡了搜索」，OpenAI、亚马逊、Kimi 都有原文撑着。OpenAI 举的例子很具体：可以放行 OAI-SearchBot、同时禁掉 GPTBot，「Each setting is independent of the others」。可同一段还有一句容易漏：两个都放行的话，「we may use the results from just one crawl for both use cases」，一次抓取可能两用。也就是说，都放行时，日志里来的是哪个名字，并不能说明这次抓走的内容只派了一种用场。
用户触发：有人在对话里问到了，临时去取
这一类不在网上自动爬，是用户在对话里提了问、要它去看某个网页时才来。OpenAI 说 ChatGPT-User 只用于「certain user actions」，并不是每次提问都来；它也不决定你能不能出现在 ChatGPT 搜索里，管搜索要去设 OAI-SearchBot。
这一类最常被问的是守不守 robots.txt。各家写法不一样，得一家一家看：
- OpenAI：ChatGPT-User「robots.txt rules may not apply」，可能不适用。
- Perplexity：Perplexity-User「generally ignores robots.txt rules」，一般不管。
- Google：用户触发的抓取器「generally ignore robots.txt rules」。
- 亚马逊：Amzn-User「may not follow all robots.txt directives」。
- Kimi：Kimi-User「may not directly apply」。
- Meta：Meta-ExternalFetcher「may bypass robots.txt rules」。
- Anthropic：声明它的机器人都遵守 robots.txt 的禁止指令，Claude-User 也在内。
DuckDuckGo 还是个反例：DuckAssistBot 为 AI 辅助回答实时抓页，可它说自己遵守 robots.txt，数据也不用于训练。所以「实时抓就不守 robots」这条不成立。这些都是平台自己的说法，实际守没守，我们在《「robots.txt 能挡住所有 AI」？》里单独核过。
这一类的量其实很小。Cloudflare 2025 年 8 月把自己网络上的 AI 爬虫活动照 UA 按用途归了类，2025 年 7 月训练占 79%，用户触发只占 3.2%。口径是 Cloudflare 自己定的，而它本身就在卖 AI 爬虫管控。
Google、苹果：不单设训练爬虫，用开关管
Google 自己也把抓取工具分三类：常用抓取工具，比如 Googlebot，自动抓取时总是遵守 robots.txt；跟被抓网站有约定的特殊场景抓取工具；再就是用户触发的抓取工具。它分的是怎么抓、有没有约定，抓来干什么是另一回事。
管用途的是 Google-Extended。它不是爬虫，Google 写明它「doesn't have a separate HTTP request user agent string」，只是 robots.txt 里的一个开关，所以日志里永远看不到这个名字。它管两件事：Google 抓来的内容能不能拿去训练未来的 Gemini 模型；在 Gemini Apps 和 Vertex AI 的 Grounding with Google Search 里，能不能拿去做 grounding，也就是回答时把搜索索引里的内容递给模型。Google 也写了，它不影响网站进 Google 搜索，也不算排名信号。
那 Google 搜索里的 AI 概览、AI 模式归谁管？Google 的说法是，AI 已经是搜索的一部分，管这块的就是 robots.txt 里对 Googlebot 的设置；想限制展示，用 nosnippet、data-nosnippet、max-snippet、noindex 这些标签。只想退出 AI 概览、搜索不受影响，Google 没给单独的爬虫开关。
苹果的结构跟 Google 像。Applebot 一个爬虫，抓来的数据供 Spotlight、Siri、Safari 里的搜索用，也「may also be used to help train」苹果的基础模型。想只挡训练，设 Applebot-Extended，苹果写明它「does not crawl webpages」，禁了它的页面照样能进搜索结果。nosnippet 管得就宽一些了：标了它，Applebot 不给页面生成描述和网页回答，苹果的 AI 生成输出时也不拿这部分内容当附加上下文。
微软：爬虫清单里没有单列 AI 爬虫
必应帮助页上列的是 Bingbot、AdIdxBot（广告）、BingPreview、MicrosoftPreview、BingVideoPreview，我们读到的这份清单里没有单给 Copilot 或训练的。Copilot 用不用你的内容，必应站长指南给的办法是页面上的 meta 标签：NOARCHIVE 让内容不进 Copilot 回答和 grounding 结果；NOCACHE 让 Copilot 只用网址、标题和摘要。
训练呢，必应 2023 年的公告说，不加标签的内容可能用来训练微软的生成式 AI 基础模型，加了 NOARCHIVE 就不用。现在的站长指南只写了 Copilot 回答和 grounding，没重复训练这句，是不是还照 2023 年的口径，我们没找到更新说明。
名字得写对
2024 年的论文《Consent in Crisis》报告，在它审计的网站样本里，约 4.5% 在 robots.txt 里禁的是 anthropic-ai、Claude-Web，却没禁 Anthropic 文档里真正的爬虫 ClaudeBot；论文那处没写明这个比例对应的是哪一批样本。名字还会变，论文写的时候，OpenAI 也还只有 GPTBot 和 ChatGPT-User 两个，OAI-SearchBot 是后来才有的。
国内：我们只找到 Kimi 按三类公开
Kimi 的官方爬虫页是英文的，三个名字、三个用途，每个单独设置，写法跟 OpenAI 几乎一个样。截至 2026 年 10 月 1 日，国内平台里按训练、搜索、用户触发三类公开爬虫的，我们只找到这一家。
| 平台 | 官方写了什么 |
|---|---|
| 字节 | 《关于Bytespider》写的是「头条搜索的爬虫」，给了 UA 和反查方法，没提 AI，也没提豆包；页面没标日期 |
| 百度 | 2013 年的 spider 说明，列的全是搜索和广告类，没有文心或大模型相关的爬虫 |
| 华为 | PetalBot 是花瓣搜索的爬虫，同时给智慧助手和 AI 搜索供内容，遵守 robots 协议；有没有用于训练，没说 |
| DeepSeek | 一份说明里讲预训练主要用「互联网上公开可用的信息」和第三方合作获取的信息，文中没列爬虫名 |
| 豆包、元宝、千问、文心 | 专属的爬虫说明我们没找到 |
没找到不等于没有，可能在别的渠道说过，只是我们没查到。网上有些教程和国外的爬虫目录列了 DeepSeekBot、QwenBot、ErnieBot 这些名字，我们都没找到对应平台的官方出处，照着写进 robots.txt，管不管用无从确认。
结论
- 截至 2026 年 10 月 1 日，OpenAI、Anthropic、Kimi、亚马逊的官方文档给训练、搜索、用户触发各起了一个名字；Meta 也列了三个，但 Meta-ExternalAgent 一个名字同时写了训练和索引；Perplexity 的官方页只列了搜索和用户触发两个爬虫，并说这两个都不用于训练基础模型。
- OpenAI 写明 GPTBot 和 OAI-SearchBot 的设置互相独立，管 ChatGPT 搜索露出的是 OAI-SearchBot；OpenAI 也写了，两个都放行时可能一次抓取两用。
- 用户触发类守不守 robots.txt，各家写法不同：OpenAI、Perplexity、Google、亚马逊、Kimi、Meta 写的是可能不适用、一般不管或可能绕过，Anthropic 声明它的机器人都遵守。这些写法都是平台自述。
- Google 和苹果没有单设训练爬虫，训练用途靠 robots.txt 里的 Google-Extended、Applebot-Extended 两个开关管。Google-Extended 没有自己的 UA，不影响进 Google 搜索；Google 搜索里的 AI 概览和 AI 模式由 robots.txt 里对 Googlebot 的设置管。
- 微软公布的 Bing 爬虫清单里没有单列 Copilot 或训练用的爬虫；Copilot 用不用页面内容，必应站长指南给的是 NOARCHIVE、NOCACHE 两个 meta 标签。
- 截至 2026 年 10 月 1 日，国内平台里我们只找到 Kimi 按三类公开了爬虫；字节官方把 Bytespider 写成头条搜索爬虫，没提豆包；豆包、DeepSeek、元宝、千问、文心的官方爬虫说明，我们没找到。
「Googlebot、Bingbot 也算训练爬虫」？
Cloudflare 2026 年 7 月起把 AI 流量分成搜索、代理、训练三类让客户选，兼有搜索和训练的多用途爬虫，按它的全部行为一起放行或拦截，点名的就是 Googlebot、Applebot、BingBot。这么归不是没来由：苹果自己写了 Applebot 抓的数据可能用于训练，微软 2023 年也说过不加标签的内容可能用于训练。
Google 这边，两边其实在说不同的事。看它以什么身份来抓，Googlebot 是搜索爬虫；Google 讲训练时说的是「Google 抓来的内容」，没指明是哪个 UA 抓的，把这笔账记到 Googlebot 头上，是 Cloudflare 的归法。而且按 Google 的文档，训练和官方列明的那几种 Gemini grounding 可以用 Google-Extended 单独关；按 Cloudflare 的规则，这类爬虫是连同搜索一起处理的。Cloudflare 自己就卖 AI 爬虫管控。
这些结论别往外推
- 各家说的用途、守不守 robots.txt，都是平台自述，本文没有核实各家是否照做。实际挡不挡得住，见《「robots.txt 能挡住所有 AI」？》；robots.txt 怎么设，见《robots.txt、Google-Extended、IndexNow：给 AI 的开关各管什么？》。
- 名字和用途对得上，不等于日志里一次请求只服务一个用途：OpenAI 写了可能一次抓取两用，Meta-ExternalAgent 一个名字同时写了训练和索引。
- 国内那几家写「没找到」，只代表我们截至 2026 年 10 月 1 日查到的范围。
- Cloudflare 的比例，分母是它网络上统计到的 AI 爬虫活动，按它自己的口径归类；4.5% 是那篇论文审计样本里的比例。两个都不是全网的。
- 微软训练那句是 2023 年的口径，现在是否不变，我们没找到更新说明。
- 表里的名字是 2026 年 10 月 1 日各家文档上的，名字会变。
核对记录
- Anthropic 帮助页：2026 年 10 月 1 日复核，页面日期是 April 7, 2026，没写是首发还是更新；相关说明与引语一致。
- Meta：2026 年 10 月 1 日复核 developers.facebook.com 该页，三个名字、用途及 robots.txt 相关表述均在。
- 用户触发类守不守 robots.txt：Anthropic 那句本次重核过，正文一家一家列，不写「都不守」。
- 2026 年 10 月 1 日重开原文补核：Cloudflare 那篇比的是 2024 年 7 月和 2025 年 7 月，分母是 AI 爬虫活动；苹果页 Published Date 是 2026 年 9 月 4 日；《Consent in Crisis》4.5% 那句没写明对应哪批样本；Perplexity 页只列两个，没有训练爬虫。
- 各页核查日期统一按北京时间记为 2026 年 10 月 1 日。
出处 24 条，A 级 20 条、B 级 3 条、C 级 1 条 · 展开全部
OpenAI《Overview of OpenAI Crawlers》：爬虫和用户代理「to perform actions for its products, either automatically or triggered by user request」。GPTBot 抓的内容「may be used in training」，禁掉它「indicates a site’s content should not be used in training」；OAI-SearchBot「is used to surface websites in search results in ChatGPT’s search features」，禁掉的站「will not be shown in ChatGPT search answers, though can still appear as navigational links」；ChatGPT-User 用于「certain user actions in ChatGPT and Custom GPTs」，「robots.txt rules may not apply」，「is not used to determine whether content may appear in Search」；「Each setting is independent of the others」；两个都放行时「we may use the results from just one crawl for both use cases」；OAI-AdsBot「is used to validate the safety of web pages submitted as ads on ChatGPT」，数据「not used to train generative AI foundation models」。页面未标日期。 原文
Anthropic 帮助中心（页面日期 2026-04-07）：ClaudeBot 收集「could potentially contribute to their training」的网页内容，禁掉它表示「the site's future materials should be excluded from our AI model training datasets」；Claude-SearchBot「navigates the web to improve search result quality for users」，禁掉会「prevents our system from indexing your content」「may reduce your site's visibility」；Claude-User：用户向 Claude 提问时「it may access websites using a Claude-User agent」，禁掉则「prevents our system from retrieving your content in response to a user query」；「Anthropic's Bots respect "do not crawl" signals by honoring industry standard directives in robots.txt」。 原文
Perplexity《Perplexity Crawlers》：只列两个 UA。PerplexityBot「is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models」；Perplexity-User 在用户提问时「might visit a web page」，「not used for web crawling or to collect content for training AI foundation models」，「Since a user requested the fetch, this fetcher generally ignores robots.txt rules」。页面没列训练爬虫，未标日期。 原文
Moonshot AI／Kimi《Kimi Crawlers》（英文页）：KimiBot「crawls content potentially used to train Kimi's foundation models」，禁掉它「signals that your content should not be used for model training」；Kimi-SearchBot「powers Kimi's search features」，禁掉「will prevent your site from appearing in Kimi search results」；Kimi-User 处理用户发起的动作，「robots.txt rules may not directly apply」；「Each crawler listed here serves a distinct purpose and is configured independently.」页面未标日期。 原文
Amazon《About AmazonBot》：Amazonbot「may be used to train Amazon AI models」；Amzn-SearchBot 用于 Alexa 等搜索体验，「does not crawl content for generative AI model training」；Amzn-User 支持用户动作，「may not follow all robots.txt directives」；「Each user agent setting is independent of the others」。 原文
Meta for Developers《Meta Web Crawlers》：Meta-ExternalAgent「crawls the web for use cases such as training foundation AI models or improving products by indexing content directly」；Meta-WebIndexer「navigates the web to improve Meta AI search result quality for users」；Meta-ExternalFetcher「fetches individual links at a user's request」，「may bypass robots.txt rules」。 原文
Google《Overview of Google crawlers and fetchers》：客户端分三类，Common crawlers「always respect robots.txt rules for automatic crawls」；Special-case crawlers 用于「there's an agreement between the crawled site and the Google product」的场景；User-triggered fetchers「where the end user triggers a fetch」。读的是 developers.google.cn 镜像。 原文
Google《Google's common crawlers》：常用抓取工具「used to find information for building Google's search indexes」，自动抓取时「always obey robots.txt rules」。Google-Extended 管「whether content Google crawls from their sites may be used for training future generations of Gemini models」，以及 Gemini Apps 和「Grounding with Google Search on Vertex AI」里的 grounding；「doesn't have a separate HTTP request user agent string」；「does not impact a site's inclusion in Google Search nor is it used as a ranking signal」。GoogleOther 可用于内部研发的一次性抓取，设置「不会影响任何特定产品」；Google-CloudVertexBot 管「crawls requested by the site owners' for building Vertex AI Agents」，「no effect on Google Search」。 原文
Google《Google user-triggered fetchers》：列 Google-Agent、Gemini Notebook、Google Read Aloud 等；「Because the fetch was requested by a user, these fetchers generally ignore robots.txt rules」；「The list is not exhaustive, it only covers the requestors more likely to show up in log files.」 原文
Google 搜索中心《AI features and your website》（2025-12-10 更新）：「AI is built into Search and integral to how Search functions, which is why robots.txt directives for Googlebot is the control for site owners to manage access」；限制展示用 nosnippet、data-nosnippet、max-snippet、noindex；「To limit AI training and grounding in some of Google's other systems, read more about Google-Extended.」 原文
Apple《About Applebot》（页面 Published Date 2026-09-04）：Applebot 抓的数据供 Spotlight、Siri、Safari 里的搜索，「may also be used to help train Apple foundation models」；「Applebot-Extended does not crawl webpages. Webpages that disallow Applebot-Extended can still be included in search results.」nosnippet：「Applebot won't generate a description or web answer for the page」，标了的数据也不作为 AI 生成输出时的附加上下文。 原文
Bing Webmaster Tools《Which Crawlers Does Bing Use?》：列 Bingbot、AdIdxBot、BingPreview、MicrosoftPreview、BingVideoPreview；「Bingbot is our standard crawler and handles most of our crawling needs each day」。页面里没出现 Copilot、AI 字样。 原文
必应站长指南：「NOARCHIVE prevents content from being used in Copilot responses and grounding results」；「NOCACHE limits Copilot to using only the URL, title, and snippet」。读到的正文没有关于训练的说法。页面未标日期，据 Search Engine Journal 2026-02-27 报道，2026 年 2 月改写过。 原文
Bing Webmaster Blog，Fabrice Canel，2023-09-22：不带 NOCACHE、NOARCHIVE 的内容「may be included in Bing Chat answers」，「site content may be used in training our generative AI foundation models」；标 NOARCHIVE 的内容不进 Bing Chat 回答，「we will not use the content for training Microsoft's generative AI foundation models」。2023 年的口径，产品名还是 Bing Chat。 原文
DuckDuckGo《DuckAssistBot》：「crawls pages in real-time for our AI-assisted answers」；「This data is not used in any way to train AI models」；遵守 robots.txt，改规则 72 小时后生效；「Opting out of DuckAssistBot does not impact organic search rankings」。 原文
头条搜索站长平台《关于Bytespider》：「头条搜索的爬虫UA为“Bytespider”」，PC 示例 UA 含 Chrome/70.0.0.0；「Bytespider的hostname以*.bytedance.com的格式命名，非 *.bytedance.com即为冒充」。整页没提 AI、豆包或训练。页面未标日期。 原文
百度搜索学堂《百度spider介绍》（2013-04-24）：列 Baiduspider 及 -image、-video、-news、-favo、-cpro、-ads；「Baiduspider遵守互联网robots协议」，Baiduspider-cpro「不遵守robots协议」。没有 AI、文心或大模型相关的爬虫。 原文
花瓣搜索站长平台《PetalBot》（英文页）：「PetalBot is an automatic program of the Petal search engine」，为「Huawei Assistant and AI Search services」供内容；「PetalBot complies with the Internet robots protocol」。没说数据是否用于训练。 原文
DeepSeek《模型原理与训练方法说明》：预训练阶段「主要使用」两类数据，「(1) 互联网上公开可用的信息，(2) 我们与第三方合作获取的信息」。文中没列爬虫名、UA，也没写是否遵守 robots。 原文
GB/T 45654—2025《网络安全技术 生成式人工智能服务安全基本要求》第 4.1.3 条 b）：自采训练数据「不应采集他人已明确不可采集的数据」，注 3：「例如已通过爬虫协议（robots 协议）或其他限制采集的技术手段明确表明不可采集的网页数据」。推荐性国标，2025-11-01 实施；PDF 取自 MLex 附件。 原文
Cloudflare 博客（João Tomé，2025-08-29）：「Training now drives nearly 80% of AI bot activity, up from 72% a year ago」；「In July 2024, training accounted for 72% of AI crawling. By July 2025, it had risen to 79%. Over the same period, search fell from 26% to 17%, while user actions grew modestly from 2% to 3.2%」；「Meta, OpenAI, and Anthropic run distinct bots for different purposes, while Google and Microsoft rely on unified crawlers.」分母是 Cloudflare 网络上它统计到的 AI 爬虫活动，按 UA 归类。 原文
Cloudflare 博客（2026-07-01）：AI 流量按 Search、Agent、Training 三类处理；「multi-purpose crawlers (specifically those that combine Search with Training) will be allowed/blocked according to all of their behaviors」，点名 Googlebot、Applebot、BingBot 属于这种。这是 Cloudflare 自己的归类。 原文
Longpre 等《Consent in Crisis》（arXiv 预印本，2024-07-24）：审计约 1.4 万个网站域名；「4.5% of websites disallowed the unrecognized user agents anthropic-ai or Claude-Web」，「but not the documented agent for Anthropic's crawler, ClaudeBot」，这句没写明是在哪一批样本里算的；当时「OpenAI has two crawler agents, GPTBot for training, and ChatGPT-User for live browsing plugins」。 原文
母本检索核验记录（2026-10-01）：按「DeepSeekBot 官方文档」「豆包 Bytespider 官方说明」「QwenBot 通义千问 官方」等检索，DeepSeek、文心、千问、元宝、豆包都没找到平台官方的爬虫文档，只见第三方目录、教程和自媒体。未找到不等于没有，各家可能在没被收录的帮助页、协议附件或商务渠道说过。 原文
大家也这样问
- GPTBot 和 OAI-SearchBot 有什么区别？
- 屏蔽了 AI 训练爬虫，还能出现在 AI 搜索里吗？
- 日志里的 ClaudeBot、ChatGPT-User 都是来干嘛的？