这条在：GEO 图书馆 · 衡量
从服务器日志看 AI 爬虫：怎么知道 AI 来读过你？
看网站访问日志里访问者自报的名字，再拿各家公布的 IP 地址段核对是不是冒充的：日志能证明哪个爬虫来过。
没来过，也不等于 AI 回答没用到这个站。母本这份网站日志从 2026 年 9 月 26 日上午记到 28 日凌晨，其间 Google 的 AI 概览已经能介绍母本，日志里却一次 Googlebot 都没有。
你能从自己网站的访问日志里看见谁来过：每次访问都会留下来源 IP、时间、要了哪一页，还有它自报的名字（User-Agent）。拿名字去对各家公布的地址，对上了，就是这家来过。没看见，不能说明 AI 没用你的内容。
日志里能看到谁
AI 公司大多公开了自家爬虫的名字。按用途大致分三种：
| 公司 | 训练用 | 搜索、建索引用 | 用户提问时当场访问 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | 说不用于训练 | PerplexityBot | Perplexity-User |
| 没有单独的训练爬虫，见下文 Google-Extended | Googlebot | 没有公布「提问时来抓你」的抓取器 | |
| Kimi | KimiBot | Kimi-SearchBot | Kimi-User |
几件容易搞错的：
- Google-Extended 和 Applebot-Extended 在日志里看不到。它们只是写在 robots.txt 里的用途开关。Google-Extended 没有自己的名字，抓取用的是 Google 现有的那些；它管以后的 Gemini 训练，也管 Gemini 应用和 Vertex 上的「grounding」（回答时拿搜索索引里的内容给模型参考），但不影响 Google 搜索和 AI 概览的收录，拿它挡不住 AI 概览。Apple 说 Applebot-Extended 根本不抓网页，只管 Applebot 抓来的内容怎么用。
- Google 另有一组「用户触发的抓取器」，是用户在它某个产品里点了什么，它才去取页面，比如站点验证、朗读网页、消息里的链接预览、Gemini Notebook、Google-Agent。Google 说这份名单不全，上面也没有「AI 概览回答时来抓页面」这一项。
- 「当场访问」那一类，各家对 robots.txt 的说法不一样。OpenAI 说「may not apply」，Kimi 说「may not directly apply」，都是可能不适用；Perplexity 和 Google 说它们一般不理 robots.txt；Anthropic 反过来，说屏蔽 Claude-User 就能挡住它。
- 字节的 Bytespider，官方写的是「头条搜索的爬虫」，页面没提豆包。网上说「豆包的爬虫是 Bytespider」或者叫「Doubaobot」的，我们没找到字节官方的出处。豆包、元宝、DeepSeek，截至 2026 年 9 月 28 日我们都没找到它们公开的爬虫名。
怎么确认不是冒充的
名字谁都能填，Google 和 Bing 都在文档里提醒过。把可疑的访问交给管网站的人，有两种查法：
- 对地址段。OpenAI、Anthropic、Perplexity、Google、Bing、Apple、Kimi 都公布了 IP 地址段，字节在页面上列了 10 个段。日志里的 IP 落在段里，才算数。
- 查主机名。查这个 IP 的主机名是不是这家的，再查这个主机名能不能解析回原来的 IP：Google 要落在 googlebot.com、google.com 或 googleusercontent.com 下，Bing 要以 search.msn.com 结尾，百度要是 baidu.com 或 baidu.jp 下的名字，字节要是 bytedance.com，Apple 要是 applebot.apple.com。百度明说不公布地址段，只能用这个办法。
我们自己的日志
母本网站的访问日志从 2026 年 9 月 26 日上午 10 点开始。到 28 日凌晨两点多，下面几个是我们对照的名字，不是日志里全部的爬虫。次数按请求算，包括只要了 robots.txt、被跳转、取验证文件的：
| 名字 | 请求次数 | 要了什么 | IP 核对 |
|---|---|---|---|
| Applebot | 8 | 首页、robots.txt、样式文件 | 抽 3 个，都在 Apple 的段里 |
| Google-Lens | 4 | 首页，2 次被跳转、2 次取到 | 在 Google 用户触发抓取器的地址段里 |
| OAI-SearchBot | 3 | 3 次都是 robots.txt | 在 OpenAI 的段里 |
| ClaudeBot | 2 | robots.txt 1 次、首页 1 次 | Anthropic 有公布列表，这次没核 |
| GPTBot | 1 | 首页 | 在 OpenAI 的段里 |
| bingbot | 1 | IndexNow 验证文件 | 没核 |
同一段时间里，俄罗斯搜索引擎的 YandexBot 来了 76 次，一个 SEO 工具的爬虫 AhrefsBot 来了 42 次。没出现过的：Googlebot、ChatGPT-User、Claude-User、PerplexityBot、Bytespider、百度蜘蛛。
最有意思的是 9 月 27 日晚上 7 点 18 分左右。那时我们自己用 Google 搜「mubenwave.com」，AI 概览打出了这段话：「mubenwave.com 是一个设在上海、由一个人与一个名为 Vera 的 AI 合伙人共同运营的实验性品牌工作室。」其中「实验性」这三个字，我们的事实页上没写过；事实页写的是「工作室」，不是「品牌工作室」。同一分钟，日志里有 4 次名字叫 Google-Lens 的请求访问首页，三个 IP 都落在 Google 公布的用户触发抓取器地址段里；但 Google 的抓取器名单里没有 Google-Lens 这个名字。而在这份日志覆盖的时间里，Googlebot 一次都没来过。
这是一次记录，搜的还是带域名的问题，不能下结论。它能说明的是：在我们这份日志里，AI 概览说出了这个网站，却没有 Googlebot 来过的记录。
日志证明不了什么
日志能证明谁来过，证明不了「没来就没用你」。几家的文档里各有一句：
- 索引里已有的内容。Google 说 Gemini 应用和 Vertex 上的 grounding，是在提问时把「Google Search index」里的内容给模型；AI 概览的出处链接，要求页面先被收录。这两句都没说回答当下还会不会再来一次。
- 抓过的页面可能被留着。Apple 写明会缓存抓过的内容，减少重复抓取；另一句说，抓来的数据可能在生成回答时当补充上下文。它没说回答用的是缓存还是当场再取。
- 问题可能先发给别的搜索服务商。OpenAI 说 ChatGPT 搜索有时找第三方搜索服务商合作，把问题改写后发给它们。原文没说这会不会再变成对你页面的一次访问。
- 有人不自报家门。Cloudflare 说 Perplexity 在声明的爬虫被封后，用伪装成普通浏览器的名字和不在官方段里的 IP 继续访问。Cloudflare 卖网站防护；Perplexity 有公开回应，那篇我们没打开，所以这里只作 Cloudflare 的单方说法。
反过来，日志里出现了 ChatGPT-User、Claude-User 这类当场访问，也对不上是不是你那一次提问：各家文档只说提问时「may」访问，没说一定会、多久内会，同一时段别的用户也可能在问，ChatGPT-User 还可能来自 Custom GPT 或 GPT Actions。它能当作「有人让 AI 取过这页」的旁证，要核过 IP 才算数。
日志之外，平台自己给的数
2026 年 2 月 10 日，Bing 站长工具公开预览了 AI Performance，能看你的内容在 Copilot、Bing AI 摘要和部分合作方回答里被引用的次数和被引网址。Google 把 AI 概览和 AI 模式的展示算进了 Search Console 的网页搜索总量，单独筛不出来。OpenAI、Anthropic、Perplexity、Kimi，我们没看到同类的后台。
这些结论别往外推
- 我们的日志只有不到两天、一个新网站。AI 爬虫来得少，不能拿去推别的网站。
- 次数是请求数。里面有 robots.txt、跳转和验证文件，不等于读过正文。
- 按名字归类有漏。不自报家门的访问、我们没对照的名字，都不在表里。
- 上面几句「日志证明不了什么」，是各家文档各自的范围。不能推成「凡是 AI 回答都这样」。
- Google-Lens 那一次只是时间对上。它跟 AI 概览说出母本有没有关系，一次记录说明不了。
出处 16 条，A 级 13 条、B 级 3 条 · 展开全部
OpenAI《Overview of OpenAI Crawlers》：OAI-SearchBot 管 ChatGPT 搜索结果，GPTBot 抓可能用于训练的内容，ChatGPT-User 是用户提问时「may visit a web page」，「robots.txt rules may not apply」；三者各有公布的 IP 段（searchbot.json、gptbot.json、chatgpt-user.json）。OAI-SearchBot 和 GPTBot 都放行时，可能只抓一次，两种用途共用；ChatGPT-User 也用于 Custom GPT 和 GPT Actions。 原文
Anthropic 帮助中心（2026-04-07）：ClaudeBot 收集可能用于训练的内容，Claude-User 在用户提问时「may access websites」，Claude-SearchBot 提升搜索结果质量；「Anthropic’s Bots respect “do not crawl” signals」，屏蔽 Claude-User 会阻止它在回答时取你的内容；公布了一份不分机器人的 IP 列表。 原文
Perplexity 开发者文档《Perplexity Crawlers》：PerplexityBot 管搜索结果、不用于训练；Perplexity-User 是用户提问时访问，「generally ignores robots.txt rules」；各有 IP 段；建议防火墙同时核对 User-Agent 和 IP。 原文
Google《List of Google user-triggered fetchers》（2026-08 更新）：用户在 Google 产品里发起时才去取页面的抓取器（站点验证、朗读、链接预览、Gemini Notebook、Google-Agent 等，名单不全，没有 Google-Lens），「generally ignore robots.txt rules」，IP 段在 user-triggered-fetchers.json、user-triggered-fetchers-google.json、user-triggered-agents.json；并提醒 User-Agent 可被伪造。 原文
Google《List of Google's common crawlers》（2026-07 更新）：Google-Extended「doesn't have a separate HTTP request user agent string」，只是 robots.txt 里的控制标记；它管的 grounding 指在提问时「providing content from the Google Search index」给模型。 原文
Google《Verify requests from Google crawlers and fetchers》：对日志里的 IP 做反向 DNS，域名须是 googlebot.com、google.com 或 googleusercontent.com，再正向解析回原 IP；或者用公布的 IP 段比对。 原文
Google 搜索中心《AI features and your website》（2025-12-10 更新）：要作为 AI 概览或 AI 模式里的出处链接出现，「a page must be indexed and eligible to be shown in Google Search with a snippet」。 原文
Apple《About Applebot》：Applebot 抓的数据可能在 AI 生成回答时作为补充上下文；「Apple also caches crawled content to reduce unnecessary crawling」；Applebot-Extended「does not crawl webpages」；验证用 *.applebot.apple.com 反向 DNS 或公布的 IP 段。 原文
Bing《Which Crawlers Does Bing Use?》：「user agent strings are easy to spoof」，要验证 IP。《Verifying Bingbot》：反向 DNS 须以 search.msn.com 结尾。 原文
Bing Webmaster 博客（2026-02-10）：Bing 站长工具公开预览 AI Performance，能看内容在 Copilot、Bing AI 摘要和部分合作方回答里被引用多少次、引了哪些网址；检索词只给样本。 原文
头条搜索站长平台《关于Bytespider》：「头条搜索的爬虫UA为“Bytespider”」，列了 10 个 IP 段，主机名须为 *.bytedance.com。页面没提豆包，也没提训练。 原文
百度搜索资源平台（2019-05-20）：百度蜘蛛的 IP 段「动态变化不固定，我们无法对外公布」。 原文
百度搜索资源平台《百度spider介绍》（2013-04-24）：「Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。」 原文
Kimi《Kimi Crawlers》政策页：KimiBot（训练）、Kimi-User（用户触发，robots.txt 可能不直接适用）、Kimi-SearchBot（搜索索引），各有 IP 段文件。 原文
Cloudflare 博客（2025-08-04）：称 Perplexity 在声明的爬虫被封后，用伪装成 macOS Chrome 的通用 User-Agent、不在官方 IP 段的地址继续访问。Cloudflare 卖防护服务，这是单方说法；Perplexity 有公开回应，我们没打开。 原文
母本自测：mubenwave.com 访问日志 2026-09-26 10:06 到 09-28 02:10，按 User-Agent 归类，GPTBot、OAI-SearchBot、Google-Lens、Applebot 抽查的 IP 已用官方 IP 段核过。 原文
大家也这样问
- 怎么知道AI有没有来抓我们网站？
- 服务器日志里怎么看AI爬虫？