robots.txt 里屏蔽所有 AI 爬虫，「会阻止你的内容出现在所有平台的 AI 生成回复中」？

先摆出流传的说法。下面是我们 2026 年 9 月 27 日在中文网上找到的原文节选：

• 一家做 GEO（AI 搜索优化）工具的公司，在讲「如何屏蔽所有 AI 爬虫」时写：这样做「会阻止你的内容出现在所有平台的 AI 生成回复中」。
• 一家做官网 GEO 服务的公司写：「robots.txt 回答的是『允不允许抓』——它是准入控制」。不过同一页也承认，各家机器人遵守的程度不一样。
• 一篇 CSDN 帖子写：「屏蔽 AI 爬虫的成本非常低，几行 robots.txt 规则就够。」

这几处的链接都列在页尾。我们核的是第一句：屏蔽了，就不会出现在所有平台的 AI 回复里。后两句容易跟它混在一起，但都没把话说到这个份上：第二篇自己承认遵守程度不一样；第三篇说的是配置成本低，同一篇也提到 AI 可能从第三方内容库拿到信息，并没有承诺内容会从所有 AI 回答里消失。

robots.txt 是放在网站根目录的一个文本文件，告诉爬虫哪些页面可以抓、哪些别抓。它有正式标准：RFC 9309，2022 年发布。标准里有一句写得很清楚：这些规则「not a form of access authorization」，不是访问授权。安全一节还说，它不能代替真正的内容保护措施。

标准对爬虫怎么读、怎么匹配规则，有明确的要求；守规矩的爬虫会先读它、照着办。但它本身不做鉴权。打个比方，它能告诉爬虫别进来，但不会替网站把门锁上。

我们查到的几家平台，会按用途分别说明抓取和内容使用规则。常见的用途有三种：训练模型、做搜索，以及用户发起的取页，比如用户在对话里让它去打开某个网页。各家的分类并不完全一样，Google 的用户触发抓取器还包括订阅源、朗读这类，不全是 AI 对话。

问题就出在第三类。几家的官方文档是这么写的：

• OpenAI：禁止 GPTBot，表示内容不该用于训练基础模型；OAI-SearchBot 管搜索。但用户发起的 ChatGPT-User，「robots.txt rules may not apply」，规则可能不适用。
• Perplexity：PerplexityBot 管搜索，说不用来抓训练数据。用户触发的 Perplexity-User，「generally ignores robots.txt rules」，通常不管 robots.txt。
• Google：普通爬虫自动抓取时，「always obey robots.txt rules」。但用户触发的那类抓取器，「generally ignore robots.txt rules」。另有一个 Google-Extended，它不会单独来抓网页，控制的是抓到的内容能不能用于 Gemini 训练，以及官方列出的部分联网回答用途；禁用它不影响网站进入 Google 搜索。
• Amazon：它列出的自动抓取代理遵守 robots.txt；但用户发起的 Amzn-User，可能不会遵守其中所有指令。
• Kimi：国内我们核到的一家。它公开了三个：KimiBot 抓的内容可能用于训练模型；Kimi-SearchBot 管搜索；用户触发的 Kimi-User，「robots.txt rules may not directly apply」。
• Anthropic：说法不一样。它说自家的机器人都遵守 robots.txt，包括用户触发的 Claude-User，禁止它就能挡住 Claude 在回答用户时来取你的页面。

其他几家，这次我们只核到两处：DeepSeek 的用户协议说明，开启联网搜索后会先检索互联网公开信息，但这份协议没有说明爬虫名字和 robots.txt 分工；字节的头条站长平台有一篇讲 Bytespider 的文档，入口列在页尾，但我们没能读到正文，所以这里不写它。

所以要分两种情况说。如果想统一表达禁止抓取，可以写一组两行规则：第一行 User-agent: *，第二行 Disallow: /。它也包括普通搜索的爬虫；如果文件里还有针对具体爬虫的专门规则，那些爬虫会按专门的那组办，要一并检查。如果只想挡 AI、还想留着普通搜索，就得分清各家的名字和用途，挨个写。两种写法都一样：至少有五家在官方文档里说了，用户发起的那类取页，规则可能不适用。

2025 年 8 月，Cloudflare（卖网络安全和爬虫拦截服务的公司）发文指控 Perplexity：它在测试里看到，Perplexity 在被屏蔽后，用没有声明身份的爬虫继续抓，有时连 robots.txt 都不去读。同一天，Perplexity 发文回应，说 Cloudflare 把一家它「只是偶尔使用」的第三方云浏览器服务的流量算到了自己头上，还说用户即时取页和批量爬取不是一回事。

双方各执一词，我们没找到独立的第三方来裁定谁对。同一篇报告里还有一处，Cloudflare 自己也写到：ChatGPT-User 读了 robots.txt，看到被禁止后就停了。

改 robots.txt，管的主要是以后的抓取。Anthropic 的说法是，禁止 ClaudeBot 后，网站「future materials should be excluded」，以后的内容不进训练。这句话没说已经进了训练数据的旧内容怎么办。

也不是完全没有例外。一个叫 Apertus 的开源模型项目在技术报告（预印本）里写，这次训练前，他们按所选网站在 2025 年 1 月的 robots.txt 设置，把不允许使用的旧网页数据也剔除了。这只是一个项目自己的做法，不能推到别的公司。

所以比较稳妥的说法是：改 robots.txt，不等于已经抓走的内容就会被删除，也不等于已经训练好的模型会因此忘掉它。

转述走样。 「在 robots.txt 里屏蔽，就会阻止你的内容出现在所有平台的 AI 生成回复中」，这句话说过头了：

• 标准写明，它不是访问授权；
• 好几家都在官方文档里说，用户发起的取页，规则可能不适用；
• 改 robots.txt，不等于已经抓走、已经训练进去的内容会被删掉。

技术上真正拦住访问的，是服务器或 CDN 那一层的规则，比如防火墙，那是另一回事。

mubenwave.com 的 robots.txt 是全放行的：所有爬虫都可以来。我们做的事就是让 AI 找到母本，所以不挡。这是我们的选择，不是建议。品牌要不要挡，得看自己更在乎什么，书里第 5 天那一篇会专门讲。

• robots.txt 不是没用。 Anthropic 公开说它的三类机器人都遵守；Google 说普通爬虫自动抓取时总是遵守。对守规矩的那部分，它是管用的。
• 明确的搜索退出是有效果的。 OpenAI 说，退出 OAI-SearchBot 的网站，不会出现在 ChatGPT 的搜索答案里，只是仍可能作为导航链接出现；用户发起的 ChatGPT-User 也不负责决定搜索收录。「搜索答案里展示你」和「用户要求打开你的网页」是两件事，前一件可以退出。
• 用户触发的抓取，也不是每次都绕过去。 Cloudflare 自己的测试里，ChatGPT-User 看到禁止就停了。官方文档写的是「可能」「通常」，不是「一定」。
• Cloudflare 的指控，Perplexity 不认。 截至这次核查，我们没有找到足以独立判定双方说法的证据。
• 我们查到的教程里，也有明确加了限定的。 一家卖服务器的厂商写明「此方法仅对遵守协议的爬虫有效」；上面那家做 GEO 服务的公司也承认遵守程度不一样。不能把它们都算成「能挡住所有 AI」。

我们的判断是：robots.txt 能表达你的意愿，也能管住守规矩的那一部分；要当成一把把所有 AI 都挡在外面的锁，它不是。