品牌 100 强的官网，给 AI 开了哪些门？

怎么看的

品牌名单按 Interbrand 2025 年的全球最佳品牌 100 强；每个品牌用哪个官网入口，是我们选的（比如丰田用 toyota.com，Spotify 用 open.spotify.com）。2026 年 9 月 27 日晚上（北京时间），我们的脚本从新加坡访问每个入口，跟着跳转走，读首页、robots.txt 和 llms.txt，访问时写明了是母本的脚本；第一轮请求失败的 10 家（9 家超时、苹果域名解析失败），当晚又重跑了一次，统计用重跑结果替换了第一轮的记录。原始文件我们都存着。

这里只看 robots.txt 的规则，不代表整个网站、别的地区站点的设置。我们查了 11 个标识，分两类：

• 9 个会来访问网页的：OpenAI 的 GPTBot、OAI-SearchBot、ChatGPT-User，Anthropic 的 ClaudeBot、Claude-SearchBot，PerplexityBot，字节的 Bytespider，Common Crawl 的 CCBot，Meta 的 meta-externalagent。对它们，看的是访问根路径「/」是不是被禁止。
• 2 个控制内容用途的开关：Google-Extended、Applebot-Extended。它们不是抓网页的爬虫，是告诉 Google、Apple 能不能把内容用于训练等用途；下面只在单独说明时提到，不算进「禁止访问」的统计。

robots.txt 是一份写给爬虫的请求，挡不挡得住、守不守，是另一回事（见robots.txt 能挡住所有 AI 吗）。按母本 GEO（AI 搜索优化）体检表的外看规则，这里只记规则本身，不猜企业是怎么考虑的，也不打分。

读到了什么、没读到什么

三样东西分开算：

• 首页：63 个入口返回了 HTTP 200，但里面有验证页、拒绝页、跳转页和空白页，不能都算读到了首页；另外 37 个没返回 HTTP 200（其中缤客返回的是 202）。
• robots.txt：69 个请求返回了 HTTP 200，其中 67 份是真正的 robots 规则，另外 2 份返回的是网页。下面关于规则的数，分母都是这 67 家。首页没打开的，有 9 家照样读到了 robots.txt。
• llms.txt（网站写给大模型参考的一份说明和链接清单）：100 个入口里，本次读到 13 份。

没读到的，不能算作「没设置」。9 月 28 日我们换了一条路补读，结果见下面「9 月 28 日补抓」一节。

看到了什么

下面各行不是互斥的分类，不能相加：

→

看到的	家数	是哪些
规则里点名了我们所查的至少一个标识（含两个用途开关）	20	——
禁止了至少一个所查的爬虫或访问身份访问根路径	11	亚马逊、丰田、迪士尼、思爱普、Facebook、Netflix、爱彼迎、任天堂、Spotify、易贝、领英
禁止至少一种训练相关爬虫，同时没有禁止 ChatGPT 和 Claude 的搜索爬虫	7	丰田、迪士尼、爱彼迎、任天堂、Spotify、易贝、领英
禁止了 ChatGPT 和 Claude 的搜索爬虫	2	亚马逊、Facebook
读到了 llms.txt	13	三星、思科、英伟达、Adobe、现代、高通、GE Aerospace、西门子、戴尔、奥迪、英特尔、吉列、Shopify

被禁止得最多的是 Bytespider 和 meta-externalagent（各 9 家），然后是 GPTBot 和 CCBot（各 8 家）、ClaudeBot（7 家）。

重点几家，逐条看

Python 自带的 robots 解析器不完全照标准来（标准是最长匹配、同样长时 Allow 优先），所以下面这几家我们逐行对了原文。「没禁止」只指对根路径的规则，不代表实际能访问：

→

品牌（入口）	GPTBot	ClaudeBot	OAI-SearchBot	Claude-SearchBot
丰田（toyota.com）	禁止	禁止	没禁止，有专属规则	没禁止，有专属规则
迪士尼（disney.com）	禁止	没禁止，按通用规则	没禁止，按通用规则	没禁止，按通用规则
爱彼迎（airbnb.com）	禁止	禁止	没禁止，有专属规则	没禁止，按通用规则
任天堂（nintendo.com）	禁止	禁止	没禁止，按通用规则	没禁止，按通用规则
Spotify（open.spotify.com）	禁止	禁止	没禁止，有专属规则	没禁止，有专属规则
易贝（ebay.com）	禁止	禁止	没禁止，有专属规则	没禁止，有专属规则
领英（linkedin.com）	禁止	禁止	没禁止，有专属规则	没禁止，有专属规则
亚马逊（amazon.com）	禁止	禁止	禁止，有专属规则	禁止，有专属规则
Facebook（facebook.com）	没禁止	没禁止	禁止，按通用规则	禁止，按通用规则

思爱普、Netflix 也在那 11 家里，是因为 Bytespider、meta-externalagent 这类爬虫落在它们禁止的通用规则里；GPTBot、ClaudeBot 和两种搜索爬虫它们都没禁止根路径。

训练用的和搜索用的，官方怎么分

OpenAI 说 GPTBot 抓的内容可能用来训练模型，OAI-SearchBot 是给 ChatGPT 搜索用的，用户在 ChatGPT 里让它打开网页时用 ChatGPT-User，对这种访问「robots.txt rules may not apply」。Anthropic 说 ClaudeBot 抓的内容可能用于训练，Claude-SearchBot 用来改进搜索结果，用户触发的访问用 Claude-User。Google-Extended 管的是 Gemini 训练，以及官方列出的 Gemini、Vertex AI 用网页作回答依据的用途，不影响 Google 搜索收录。

上面那 7 家的规则，都禁止了至少一种训练相关的爬虫，同时没有禁止两种搜索爬虫访问根路径。但写法不一样：丰田、Spotify、易贝、领英给两种搜索爬虫写了专属规则；迪士尼、任天堂没有点名它们，只是通用规则没禁止。规则允许，也不等于已经被收录、能被搜到。我们这次没查 Claude-User，领英还单独禁止了 ChatGPT-User。

亚马逊和 Facebook 的情况也不一样：亚马逊给两种搜索爬虫写了专属的禁止规则；Facebook 没有点名它们，是落进了「所有爬虫都禁止」的通用规则，而它给 GPTBot、ClaudeBot 写的专属规则反倒没有禁止根路径。

读到的 llms.txt 都写了什么

13 份的内容差别很大。西门子的开头是一句公司介绍：「Global technology company focused on industry, infrastructure, mobility, and healthcare.」，还说全站页面都有给 AI 读的 Markdown 版（一种简单的文字排版格式）。英伟达的是一个总目录，链到各国家和语言站点自己的 llms.txt。吉列的入口跳转到了另一个路径下的文件。

有 llms.txt，不代表 AI 会去读，更不代表会多引用（见llms.txt 有用吗）。这里只记录本次读到了谁的。

9 月 28 日补抓：被拦住的那些，换一条路再读

9 月 27 日那次，33 家的 robots.txt 没读到规则：31 家没拿到（多数是超时或被拒，3 家返回 404），2 家拿回来的是网页。事后看，很多站拦的多半不是「脚本」，是我们发请求用的这台新加坡云服务器：路易威登的拒绝页上直接印着它的 IP。

9 月 28 日凌晨（北京时间），我们用腾讯编程助手 CodeBuddy 自带的网页抓取工具，从它那边再读了这 31 家的 robots.txt 和 llms.txt，也顺带补读了几家 robots.txt 读到了、llms.txt 没读到的，原文存档，判读口径跟上面一样。这个工具不给 HTTP 状态码，是否读到按它的报告和拿回的内容判断；它也说明过，拿回的内容会先经模型转写，不能保证跟原文一字不差。所以凡是下面引到规则原文的，我们都另用 xAI 的 Grok 独立抓了一遍逐行比对：甲骨文、阿迪达斯、苹果、魔爪的 robots.txt，3M、魔爪的 llms.txt，规则行都一致。

结果：

• robots.txt 又读到 25 份，加上原来的 67 份，100 家里可判读的有 92 家。还有 6 家没读到：本田、比亚迪、日产返回 404（没有这个文件），索尼、万事达卡返回空内容，法拉利被拦。
• 新读到的 25 家，都没有禁止我们所查的 AI 爬虫访问根路径，包括路易威登、香奈儿、迪奥、特斯拉、甲骨文。其中 3 家点名了 AI 爬虫：甲骨文给 GPTBot、ClaudeBot 等单独写了一组规则，禁止了几个具体路径，最后一行是「Allow: /」；阿迪达斯对 ClaudeBot 只写了「Crawl-delay: 6」，意思是请它两次抓取之间隔 6 秒；魔爪给它点名的 AI 爬虫（GPTBot、ClaudeBot、OAI-SearchBot 等）都写了「Allow: /」。所以上面「禁止了至少一个」的 11 家不变，分母从 67 变成 92。
• llms.txt 又读到 5 份：麦当劳、思爱普、魔爪、3M、丝芙兰，合计 18 份。麦当劳、思爱普、3M、丝芙兰的开头都是一句公司介绍；魔爪的很短，说的是它允许所有大模型爬虫和 AI 助手访问这个站。

这一轮最值得记下的是：拦下我们请求的这些站，robots.txt 里并没有挡 AI 爬虫。拦截发生在服务器那一层，robots.txt 上看不出来；AI 公司的爬虫实际进不进得去，要看服务器怎么认它们，这次我们测不到。

这些结论别往外推

• 只看了一个入口的根路径。 网站可能在服务器层面另外拦截，也可能对不同页面、不同地区站点设不同规则。
• 首页没读到的，设置不一定看不到。 9 月 27 日首页没返回 HTTP 200 的 37 家里，有 9 家照样读到了 robots.txt；9 月 28 日换了一条路又补读到 25 份，见上一节。
• 禁止或不禁止，不等于好坏。 体检表只记录，不评判。
• 这是 2026 年 9 月 27 日这一晚的样子。 robots.txt 随时可以改。

我们会每季度再看一次，看有没有人改了设置。