官网上线了,为什么豆包还是搜不到我们?
截至 2026 年 9 月 29 日,豆包用户协议写:识别到联网搜索意图,或你主动开了 AI 搜索,它会去搜第三方网页的公开信息;豆包 App 用哪家搜索,我们没查到公开说明。
新网站想被搜到,要过三道门:搜索引擎的爬虫来不来,来了读不读得懂,读完收不收进索引;我们查过的百度、头条、搜狗、360、Google、必应,没有一家保证过收录时间。母本自己的网站上线后三天多,日志里没出现过自报是百度、360、神马的爬虫。
「官网上线了,为什么豆包还是搜不到我们?」这句话,品牌方问得很多。先说一个前提:豆包的用户协议写,识别到联网搜索的意图,或者你主动开了 AI 搜索,它会去搜第三方网页的公开信息。豆包 App 用的是谁的搜索,我们没查到公开说明。能对上号的只有几家的对外接口文档:千问那边的接口写的是基于夸克搜索,腾讯云的联网搜索接口写的是来源于搜狗,百度智能云的 AI 搜索写的是基于百度搜索,字节卖给企业的「豆包搜索」接口写的是整合了头条、抖音百科。这些都是接口文档写的来源,不等于各家 App 就这么用。可以先查这几份接口点到的引擎收没收你:夸克、搜狗、百度,还有「豆包搜索」接口写到的头条。
新网站要被搜到,得过三道门。
第一道门:爬虫来不来
搜索引擎的爬虫得先来你的网站。
母本自己的网站 9 月 25 日上线,我们翻了上线之后三天多的服务器日志。OpenAI 和 Anthropic 的爬虫在日志开头那天就来了,GPTBot、ClaudeBot 取了首页,OAI-SearchBot 只取了 robots.txt,之后都没再抓过正文页。必应只来取了一次验证文件,一页正文都没抓。Yandex 倒是抓了 50 个条目页。自报是百度、360、神马的爬虫,三天多里一次都没出现。唯一一次自称字节爬虫的请求,只取了 robots.txt,而且 IP 不在头条搜索公布的网段里,按头条自己的验真办法,这不算头条来过。
爬虫不来,有时候是你自己把它挡了。头条搜索的站长文档把「爬虫无法访问网站」列为验证失败的原因之一,让站长去查有没有封禁。百度的建站白皮书也提醒,要看服务器和虚拟主机有没有禁止爬虫、有没有把爬虫 IP 拉进黑名单。用了云防火墙的要多看一眼:阿里云防火墙的文档写,「合法爬虫」名单目前包含 Google、百度、搜狗、Bing、Yandex,头条、360 的爬虫不在里面,放不放行得看你自己的规则。
服务器放在海外呢?百度白皮书只写了一句「中文网站不建议选择国外服务器」,没说不收,也没给理由。
第二道门:来了读不读得懂
爬虫来了,还得读得到正文。
一个要查的坑是内容靠脚本生成。Google 会执行脚本,但要排队,官方的说法是「可能会是几秒钟,但也可能会是更长时间」;它还是建议服务器端渲染,理由之一是「并非所有漫游器都能运行 JavaScript」。百度 2017 到 2019 年的建站白皮书举过例子:主体内容全靠脚本生成的网站,页面过长被截断,抓到的部分认不出主体内容,被判成「空短」不建索引。百度 2022 年另外公布过会渲染的蜘蛛,覆盖多少,我们没查到新的说明。Vercel 2024 年 12 月看自家网络和 nextjs.org 的日志,OpenAI 的几只爬虫、ClaudeBot、Bytespider、PerplexityBot 都不执行脚本;同文写 Gemini 借 Googlebot 能渲染,Applebot 也能渲染。
有一处反过来的:用户把网址直接发进豆包、千问、元宝的对话里时,我们看到平台来取页的机器连只由脚本加载的文件都拉了,像是会跑脚本的浏览器。这是按日志推的,我们没有更直接的证据。所以「AI 读不了脚本」不能一句话说死,爬虫和用户触发的取页,可能是两回事。
图片是另一件事。Google 说它会结合 alt 文字、图像识别和页面上下文去理解图片,必应说图片和视频只能当补充,不应该是理解主题所需的唯一信息来源。关键信息别只放在图片里。
第三道门:读完收不收
抓到了,也不等于收进索引。百度说得很直白:新站「整站未被索引」很常见,抓了多少不是最重要的,重要的是进了索引库的有多少;没被索引的站,百度列的可能原因里有重复内容、主体内容空短。
主动提交,各家都没把收录写死。百度的快速抓取「一般 48 小时内」收录,可那是策略评估后才给部分站点开的,而且写明「对是否收录……不保证」。头条说提交 sitemap「并不会决定网站收录或者排名」。搜狗的 sitemap 是邀请制,提交也「不直接影响网站收录」。360 说「不承诺会收录所有网页」。Google 说请求抓取后要几天到几周。我们给必应推过 IndexNow,两天多它只来取了验证文件;IndexNow 的参与名单里也没有一家国内搜索引擎。
还有一件事:最好有别人的页面链到你。Google 说新页面主要是顺着别的页面的链接被发现的,提交 sitemap「不是必需的」。必应说新站的一个常见问题,就是没有链接指向它。
能做的几件事
- 先查底下那几家收没收你。360 的帮助页写了用「site:你的域名」查;百度、头条去站长平台看索引量。某一家没收,只能说以它为来源的那份接口可能取不到你,推不出豆包、元宝的 App 搜不到。
- 查服务器、虚拟主机、防火墙有没有禁止爬虫、有没有把爬虫 IP 拉黑。头条公布了自家爬虫的 IP 和 UA,可以照着对。
- 主体内容写在网页正文里,别全靠脚本生成,别只放在图片里。
- 让别人的页面链到你的官网。必应说新站至少要有一条链接指过来;Google 说新页面主要靠链接被发现。
- 去百度、头条、360 的站长平台提交(搜狗的 sitemap 要邀请才开),但心里清楚,提交不保证收;内容空短、重复的页面,提交了也可能不收。
提交了,就算收录了吗
网上常见几种说法,原文不支持,或者我们没找到出处。
「提交到站长平台,AI 就能收录你」:上面几家说的都是不保证。AI 这边,我们没找到能查「收录」的官方入口,能查的只是底下那几家搜索引擎。
「做了 llms.txt 就行」:Google 说出现在它的 AI 功能里,不需要新的 AI 文本文件。我们自己的网站放了一份,三天多里 OpenAI、Anthropic 的爬虫一次都没取过它。详见《「有了 llms.txt,AI 能更准确地理解和引用你的内容」?》。
「新站百度一般两周到一个月收录」:这个数字在搜索结果里很常见,我们翻了百度搜索学堂的几篇官方说明,没找到出处。
「服务器在海外、没备案,豆包就搜不到」:我们读过的百度文档只写过「不建议」,也没找到豆包、元宝对服务器位置或备案的公开说明。
这些结论别往外推
- 母本的日志只有一个站、上线后三天多;「没来」只说明这几天日志里没有,不说明以后不来,也不说明没被收录。这个站的服务器位置、备案、有没有向国内站长平台提交,都可能影响结果,一个站分不开原因。
- 爬虫的名字可以伪造,除了注明的几条,我们没按官方 IP 段一一核过。
- 国内几家 AI 用谁的搜索,只有对外接口的文档写了,我们没查到 App 本身的公开说明。
- 百度的几份说明是 2017 到 2023 年的,工具名称和规则可能已经变了。
- Vercel 那组数据是 2024 年底的,国内几家 AI 的爬虫不在里面。
出处 26 条,A 级 22 条、B 级 4 条 · 展开全部
《豆包用户协议》2.2(2026-09-10 更新):「若识别到你有联网搜索意图或者你主动选择了AI搜索功能,我们会以非人工检索方式自动搜索第三方网页链接的公开来源信息」。 原文
母本自测·服务器日志(mubenwave.com,2026-09-25 上线;日志 09-26 10:06 至 09-29 16:54,约 3.3 天,7533 条请求):各家自报名字的爬虫第一次来——ClaudeBot 09-26 10:47(robots.txt 和首页各一次)、GPTBot 09-26 11:49(只取首页)、OAI-SearchBot 09-26 11:49(只取 robots.txt)、bingbot 09-27 11:07(只取了 IndexNow 验证文件)、YandexBot 09-27 11:08(3 天 122 次请求、抓了 50 个条目页)、Applebot 09-27、Sogou web spider 09-29 09:11(是网址被发进元宝对话的同一秒来的,不是自己来的);整段时间没出现过 Baiduspider、360Spider、YisouSpider、Googlebot。唯一一次自称 Bytespider 的请求(09-29 09:07)只取了 robots.txt,来自新加坡 AWS 地址 47.128.58.80,不在头条搜索公布的 IP 网段里。UA 可以伪造,除注明者外没按官方 IP 段核。 原文
母本自测(2026-09-29):用户把网址发进豆包、千问、元宝的对话里时,平台侧来取页的机器大多用普通 Chrome 的 UA、不报爬虫名,而且把页面里只由脚本加载的音频文件也拉了,看起来是会执行脚本的浏览器在取页。这是用户主动发网址的场景,不是 AI 自己去搜;哪台机器属于哪家按时间对应,各家都没公开这些取页器。 原文
Google 搜索中心《SEO 新手指南》:「Google primarily finds pages through links from other pages it already crawled. … you could also submit a sitemap … However this isn't required」。同页:「Some changes might take effect in a few hours, others could take several months」。 原文
Google 搜索中心《请求 Google 重新抓取您的网址》(2025-12-10 更新):「Crawling can take anywhere from a few days to a few weeks. … Requesting a crawl does not guarantee that inclusion in search results will happen instantly or even at all.」 原文
Google 搜索中心《了解 JavaScript SEO 基础知识》:网页在渲染队列里「可能会是几秒钟,但也可能会是更长时间」;「依然建议您采取服务器端渲染或预渲染,因为:……(2) 并非所有漫游器都能运行 JavaScript。」 原文
Google 搜索中心《图片 SEO 最佳实践》:「Google uses alt text along with computer vision algorithms and the contents of the page to understand the subject matter of the image.」 原文
Bing Webmaster Tools《Webmaster Guidelines》:让 URL 被发现的四条路「IndexNow URL submission; XML sitemaps; Crawlable internal links; External links from relevant websites」;「Images and video should reinforce the primary text on the page and should not be the sole source of information required to understand the topic」。 原文
Bing Webmaster Tools 帮助《Why is My Site Not in the Index?》:「If your website is new, Bing may take time to find the links and crawl through your site. Even if you submit sitemaps or pages directly to us via your Webmaster Tools account … we still need to crawl and assess it before it appears in the index.」同页说新站常见问题是没有链接指向它。 原文
IndexNow 官网 FAQ:「Traditional search engines rely on web crawlers to discover content updates, but that process can be slow, taking days or even weeks. … Submitting a URL does not guarantee immediate indexing.」截至 2026-09-29 官网列出的参与引擎里没有百度、搜狗、头条、360。 原文
百度搜索资源平台·搜索学堂《百度搜索的工作原理》(2023-12-21):「新站的站长常常会遇到整站未被索引的情况……Baiduspider抓了多少页面并不是最重要的,重要的是有多少页面被建索引库……可能存在以下原因:1、重复内容的网页……2、主体内容空短的网页」。 原文
百度搜索资源平台·搜索学堂《搜索资源平台使用指南》(2021-11-05):sitemap「收录速度慢于 API 推送」;快速抓取是「策略自动评估后,会给部分优质站点开通」,「一般情况下 48 小时内即可实现收录」;「如果站点希望搜索引擎收录站点内的所有内容,请勿建立 robots.txt 文件」。 原文
百度搜索资源平台·搜索学堂《搜索资源平台工具解读》(2021-01-15):「通过快速抓取提交的资源将优先抓取,对是否收录及线上展现效果不保证。」 原文
百度搜索资源平台《百度移动搜索建站优化白皮书》第 3 章(2017–2019):「某网站主体内容都是JS生成……最终导致页面被认定为空短而不建索引……移动端的H5页面,很多都是采用JS方式加载,其实是更容易产生空短」。 原文
百度搜索资源平台《百度移动搜索建站优化白皮书》第 2 章(2017–2019):「中文网站不建议选择国外服务器」;「服务器主机设置,需要注意是否有禁止爬虫抓取的设置」;「注意虚拟主机是否有将爬虫IP拉入黑名单」。原文没说国外服务器不收录。 原文
头条搜索站长平台·站长学院《Sitemap提交》:「头条spider有自身的爬取规则,sitemap只是帮助头条spider更好的收录您的网站,提交sitemap并不会决定网站收录或者排名」。 原文
头条搜索站长平台·站长学院《网站验证》:验证失败的原因之一「爬虫无法访问网站,请确认网站状态已经是否封禁爬虫……按照「关于Bytespider」公布的IP和UA排查是否封禁」。 原文
搜狗资源平台《Sitemap提交帮助》:「sitemap采用 邀请制……即提交Sitemap并不直接影响网站收录,索引以及排名。」 原文
360 搜索使用帮助《网站收录标准》:「360搜索并不承诺会收录所有网页,我们会优先收录高质量、符合用户搜索体验的网站、网页。」查是否收录用 site: 语法。 原文
阿里云百炼帮助中心《插件》:「夸克搜索插件目前支持检索出网页标题、关键词和摘要,但不支持直接访问网页详情。……联网搜索(enable_search)也是基于夸克搜索。」只对百炼 API,千问 App 用什么没公开。 原文
腾讯云·联网搜索 API 产品页:「联网搜索(Web Search API,wsa)来源于搜狗搜索」。只对腾讯云 API,元宝 App 用什么没公开。 原文
百度智能云·AI 搜索产品页:「基于百度搜索能力与AI技术,专为生成式AI提供全网实时信息检索服务」。 原文
阿里云帮助中心《设置合法爬虫规则》(2026-09-17 更新):「合法爬虫支持主流搜索引擎的爬虫 IP 信息……目前包含 Google、百度、搜狗、Bing、Yandex。」原文没说名单外的爬虫会被拦,拦不拦看站长配的 Bot 规则。 原文
火山引擎「豆包搜索」产品页:「覆盖全网主流站点与权威机构公开信息,深度整合头条、抖音百科优质独家资源」。是卖给企业的搜索接口,官方没说豆包 App 用的就是它。 原文
Google 搜索中心《AI 功能和您的网站》:页面要出现在 AI 概览、AI 模式里,没有额外要求,不需要新建机器可读文件、AI 文本文件或特殊标记。 原文
Vercel 博客《The rise of the AI crawler》(2024-12-17,与 MERJ 合作):「The results consistently show that none of the major AI crawlers currently render JavaScript.」样本是 Vercel 网络和 nextjs.org,涉及 OpenAI、Anthropic、Meta、Bytespider、Perplexity 的爬虫;同文写 Gemini 借 Googlebot 能渲染,Applebot 也能渲染。国内几家 AI 的取页器不在样本里。 原文
大家也这样问
- 官网上线了豆包搜不到我们
- 怎么让AI搜到我们机构?
- 新网站多久能被AI收录?
- 网站提交了百度为什么还是搜不到?