一条回答为什么引了那个网页?能拆到哪一步
截至 2026 年 10 月 2 日,品牌方从平台外面拆一条 AI 回答的引用,能拆实的只有一步:打开被引网页,找撑住那句话的原文,按完全支持、部分支持、不支持三档判断。
拿被引页跟没被引的页比写法,比出的只是待检验的假设,平台怎么排序加权、模型照着哪一段写的,站外拆不出来。最要紧的限定是,站外通常看不到 AI 这一次的候选池,所以品牌方看到一次被引只能当线索,不算规律。
问豆包一个行业问题,回答里挂着竞品的一篇文章,管品牌的人自然想知道它凭什么引那篇。从平台外面拆,到底能拆到哪一步?我们把论文、平台文档和国内实测翻了一遍,大致是:第一步拆得实;第二、第三步看写法、跟没被引的页面比,只拆得出假设;第四步再问几遍,看的是它重不重复;再往下,就是平台里面的事了。
第一步:在原网页里找撑住那句话的原文
这一步学术界有现成的做法。斯坦福的 Liu 等人 2023 年审计过四个英文生成式搜索,标注员逐句看,把被引网页里撑得住那句话的最少几句复制出来当证据,再分三档判:信息全对得上是完全支持,只对得上一部分是部分支持,哪部分都对不上是不支持。论文按整句判,我们没有沿用整句判定的口径:一句话里有数字、有名字、有时间,就拆开一项一项对。
判的人之间其实也有分歧。论文另抽了 250 组请三个人各标一遍,「这条引用撑不撑得住」一项,两两一致率是 82.0%,差不多每五六个判断就有一个不一样,所以判法要写下来,最好两个人各判一遍。而撑不住的也不少见,那四个产品平均只有 74.5% 的引用撑得住所挂的那句话。那是 2023 年的英文产品,数不能套到今天,可点开对不上并不稀奇。
对不上时要分开记。页面打不开或还没看完,记「无法核验」;当前这一版看完了、确实撑不住,记「当前页面不支持」;回答生成时页面是不是这一版常常确认不了,就另记「历史版本未知」,它不推翻对当前页面的判断。找不到一模一样的原句,本身也不算不支持,回答可能改写过,或者把几处揉成了一句。
有些开发者接口会给出被引的原文片段:Claude 接口的引用带 cited_text,最多 150 个字符;百度千帆「智能搜索生成」接口带「200字以内的相关信息原文片段」,可文档没说这就是模型写那句话时依据的段落。片段帮你定位,撑不撑得住还得人来对;App 里逐句对下来的情况,见这一篇。
第二步:看那段是怎么写的
找到原文,下一步是看它写得有什么特别。常听到的检查有三样:有没有数,有没有出处,能不能单独成立。我们读到的实验里,因素隔离得比较清楚的,是 Sprinklr 三名员工做的一组,收进了 SIGIR 2026 论文集:每次给模型两篇只差一个因素的消费品评测,看第一条引用落在谁头上。六个模型一致、效应又大的「守门因素」有四个:不切题、没写价格、时间戳旧、在候选列表里靠后;分节整理还是一大段、信息集中还是分散,都没影响。
第三步:跟没被引的页面比,只比得出猜测
Sprinklr 为什么每次只放两篇?论文自己说了,每多一篇真实检索到的网页,重合度、冗余度和一堆质量信号就同时变,引用的变化再也追不到某个因素上。而真实产品一次常常取五到十篇,甚至更多。
到了真实产品里还多一个漏洞:你看不到这一次的候选池。你自己搜到一篇没被引的页面,它可能压根没进 AI 的候选。百度千帆联网搜索接口就把「检索的文献数量」和「用于给大模型总结的文献数量」分成两个参数,搜到的、交给模型的、最后引用的,是三拨东西。OpenAI 接口的 sources 字段会列出模型这次参考过的全部网址,Claude 接口也返回搜索结果块,只是正文加了密。这些都是开发者接口,App 是不是同理文档没写,也不等于平台交出了完整的候选池。
所以只比你看得到的、同一个检索词下排在前面却没被引的页面,比出的差别只当待检验的线索,别当原因。
国内还多一层:同一篇内容有好几张面孔。21 世纪经济报道 2025 年 4 月拿报道片段问 11 个版本的 AI 要原文出处,标题、作者、链接三项全对的只有约 25%。这跟核引用方向相反,但有个提醒:今日头条的链接出现 37 次,34 次来自豆包。这组数据只能说明头条号链接更多来自豆包,不能据此认定豆包偏爱头条号;拆到一条挂着头条号转载的引用,原因可能出在平台能搜到哪里,未必是那页写得好。记者还把一稿多发列为错因之一,所以追到原页,先确认是不是原发。
第四步:再问几遍,同一家和换一家是两回事
命中一次,先别当真。假设每次回答互相独立、这段时间出现率不变,问 3 次出现 2 次,按 Wilson 95% 置信区间算,真实出现率大约在 21% 到 94% 之间,只够说「出现过」,怎么算的见《同一个问题要测几次才算数?》。
隔一段时间再问,又混进了平台本身的漂移,各家差得很远。卖 SEO 工具的 Sistrix 跟踪了六个国家 17 周:ChatGPT 每周约 74% 的被引域名是上周没出现过的,Google AI 概览反倒很稳,53% 的提示词 17 周里一个来源都没换。同样一句「隔一周没复现」,在这两家分量不一样。隔多久再问最合适,我们读到的研究里没有验证过;每一轮把问法、平台、页面版本和结果记下来,没命中的也记。
换一家问,看的是别处有没有:没复现,不代表头一家那次是偶然;也被引了,也只是多了一个观察。两样都证明不了是这页的哪一处写法让它被引的。
拆不到的三样
一是候选池,开发者接口列出的检索记录也不是完整的候选池。
二是排序和权重。Bing 站长工具能告诉你自家页面被 Copilot 和 Bing 的 AI 摘要等引了多少次,可微软也写明,「平均被引页面」不代表排名、权威,也不说明某页在某条回答里的角色,数据还是抽样。国内《互联网信息服务算法推荐管理规定》要求公示算法推荐的「基本原理、目的意图和主要运行机制等」,可没有专门讲 AI 搜索的引用排序,单次引用的权重要公开到什么粒度,条文里没写。
三是模型到底照着哪一段写的。MIT 的 ContextCite 把引用分成两种:佐证型,是这段资料支持这句话;贡献型,是这段资料让模型写出了这句话。找贡献型得拿那一次的完整上下文一段段拿掉、反复重跑,按我们对方法的理解还得看得到生成概率,只凭产品里显示的回答和引用,通常拿不到。所以站外能做的基本是佐证型核对,而撑得住,也不说明模型是读了这页才写的。
结论
- 品牌方从平台外面拆一条 AI 引用,拆得实的是逐句核对:在被引网页里找撑住那句话的原文,按完全支持、部分支持、不支持三档判断。这套判法出自斯坦福 2023 年对四个英文生成式搜索的审计,判的人之间也有分歧,所以判法要写下来,最好两人各判一遍。
- 逐句核对对不上时,页面打不开或没看完记「无法核验」,看完当前页面、确实撑不住记「当前页面不支持」,确认不了回答生成时的页面版本另记「历史版本未知」;找不到一模一样的原句,本身不等于不支持。
- 拿被引页面和没被引的页面比写法,只能得出待检验的假设,因为站外通常看不到 AI 这一次的候选池;OpenAI、Claude 的开发者接口会返回检索过的网址,但这不等于平台公开了完整的候选池。
- Sprinklr 三名员工的受控实验发现,两篇消费品评测已交给模型时,不切题、没写价格、时间戳旧、排在后面的那篇不容易先被引,分节整理和信息分散没有影响;这个结果不能推成「加任何数字都有帮助」。
- 同一平台多问几次看的是被引能不能重复,换一个平台看的是别的产品是否也引它,两样都不能证明是页面的哪项特征带来了引用。
- 平台的排序权重、模型到底依据哪一段写的,仅凭产品里显示的回答和引用拆不出来;《互联网信息服务算法推荐管理规定》要求公示算法基本原理等,但没有规定 AI 搜索单次引用的权重要公开到什么粒度。
「被引了一次,照着那页的写法改就行」?
这说法不是凭空来的:Sprinklr 那篇做了受控设计,作者据此给出一份 GEO 清单,还在公司内部试点过。三位作者都在 Sprinklr 工作,这家公司卖客户体验管理和营销软件。
可作者自己把结论限定在固定两篇之间的配对偏好,不是多篇网页一起竞争,真实检索里会不会带来一次引用,没有端到端测过。它量的是第一条引用,排第一不等于最权威,也不等于点击最多;材料是消费品评测,你那一行未必一样。你看到的那次命中,既没排除波动,也看不到候选池和权重。照着改了能不能复现,得用同期对照去测,做法见这一篇。
这些结论别往外推
- Liu 等测的是 2023 年初的四个英文产品,已经改版或下线;方法能借,74.5% 这类数字不能套到今天。
- Sprinklr 的实验只看两篇候选里谁先被引,材料是消费品评测,用的是模型接口,不是 App。
- Sistrix 的漂移数据测的是海外产品,不含国内平台。
- 21 财经测的是「给一段文字找出处」,方向跟核引用相反;头条号那组数字只说明关联。
- Claude、OpenAI、千帆的字段都出自开发者接口,不代表对应 App 的界面。
- 法规部分按条文读。
核对记录
- 2026 年 10 月 2 日重开原文核了几处:Liu 等论文附录 E 里,「单条引用是否支持」的一致率是 82.0%,「几条合起来是否支持」是 82.2%;Sprinklr 论文的材料是 100 篇化名的消费品评测;Bing 公告的两个网址是同一篇。其余出处沿用 10 月 1 日的读取。
出处 13 条,A 级 10 条、B 级 3 条 · 展开全部
Liu、Zhang、Liang(斯坦福)《Evaluating Verifiability in Generative Search Engines》(Findings of EMNLP 2023)。第 4.4 节:判为完全或部分支持的引用,标注员要「copy-pasting the minimal set of sentences from the cited webpage that support their judgment (if any such sentences exist)」。第 2.4 节:三档 Full support / Partial support / No support,标准是普通读者会不会认可「According to cited webpages [citations], [statement]」;一句挂多个引用的,另判这几页合起来能否完全支持。每组只标一次,另抽 250 组三人复标;附录 E 的一致率表里,「Citation Supports」两两一致率 82.0%,「Statement Supported」82.2%。Limitations:「verifiability is not factuality」;一句常含多个说法,按整句判是「for simplicity and reproducibility」。测的是 2023 年初的 Bing Chat、NeevaAI、perplexity.ai、YouChat,英文。 原文
同一论文 ACL Anthology 页:「only 74.5% of citations support their associated sentence」,是所测四款产品的平均值。 原文
Vishwakarma、Kumar、Jamidar《What Gets Cited: Competitive GEO in AI Answer Engines》(收入 SIGIR 2026 论文集;arXiv 2605.25517 v1):材料是 100 篇覆盖 50 个 B2C 品类的产品评测文章,品牌、型号、发布方换成化名;每次给模型两篇候选,「differing in exactly one characteristic」;17 个内容因素两篇先后正反各跑一遍,「but not for Lower List Position, where order is the treatment」;每种组合 5 次;记录「which source is cited first」。「We never call a search engine.」每多一篇检索到的网页,「citation shifts could no longer be traced to one lever」。六个模型、18 个因素共 25.2 万次,四个守门因素「Topic Mismatch, Price Not Mentioned, Recent vs Old Timestamp, and Lower List Position」;「Formatting choices (Content Structure, Scattered Information) had no impact」。局限:「pairwise preferences over a controlled slate, not full multi-document competition」;「Production RAG often retrieves five to ten or more pages」。六个模型为 Gemini-2.5-Flash、GPT-5-Nano、GPT-5-Mini、GPT-5.2、Claude-3.5-Sonnet、Kimi-K2-Thinking,走模型接口。 原文
Cohen-Wang、Shah、Georgiev、Mądry(MIT)《ContextCite: Attributing Model Generation to Context》(NeurIPS 2024):「Corroborative attribution identifies sources that support or imply a statement.」ContextCite 是贡献型归因,「identifies sources that cause a language model to generate a given response」;「if a part of the context actually led to a particular generated response, then removing it should substantially affect this response.」「需要读到生成概率」是按方法推的,不是原文句子。 原文
Anthropic《Web search tool》开发者文档:每条引用带「`cited_text`: Up to 150 characters of the cited content」;搜索结果块带 url、title,正文以「`encrypted_content`」返回。新版工具(web_search_20260318)把 `response_inclusion` 设为 excluded 时,代码执行里用掉的嵌套搜索结果块不再返回。只对 Claude 接口成立。 原文
OpenAI《Web search》开发者文档:「sources returns the complete list of URLs the model consulted when forming its response」,行内引用「show only the most relevant references」;搜索动作「usually (but not always)」带实际搜过的查询词。接口行为,ChatGPT App 是否同理文档没写。 原文
百度智能云千帆《智能搜索生成》(2026-09-30 更新):参考资料 content 字段为「网页内容,显示200字以内的相关信息原文片段」;另有角标开关。开发者接口,文档没说该片段就是模型写那句话所依据的段落。 原文
百度智能云千帆《联网搜索》(2026-07-09 更新):search_number「检索的文献数量」,reference_number「用于给大模型总结的文献数量」(需≤search_number),默认都是 10;enable_citation 角标开关默认关;search_mode 默认 auto,「用户query`1+1等于几`,默认不过联网搜索」。只对千帆 API 的 ERNIE 内置搜索成立。 原文
Bing 站长博客《Introducing AI Performance in Bing Webmaster Tools Public Preview》(2026-02-10):Grounding Queries 是「the key phrases the AI used when retrieving content that was referenced in AI-generated answers」;平均被引页面「does not indicate ranking, authority, or the role of any page within an individual answer」;「The data shown represents a sample of overall citation activity.」覆盖 Copilot、Bing 的 AI 摘要和部分合作方。 原文
《互联网信息服务算法推荐管理规定》(2022-03-01 施行)第二条:算法推荐技术包括「排序精选类、检索过滤类」等;第十六条:「以适当方式公示算法推荐服务的基本原理、目的意图和主要运行机制等」。没有专门针对 AI 搜索引用排序的条文。 原文
NIST/SEMATECH《e-Handbook of Statistical Methods》7.2.4.1:比例的 Wilson 置信区间及公式。按此算,3 次中 2 次的 95% 区间为 20.8%–93.9%;前提是各次回答互相独立、测量期间出现率不变。 原文
Sistrix《AI Citation drift》(2026-05-01):六国 8.3 万条提示词、17 周(2025-12-17 至 2026-04-08);「AI Mode responses rotate by 56% per week, and ChatGPT by 74%」,ChatGPT 按网址算「85% per week」;AI 概览「In 53% of all prompts, not a single source changes over 17 weeks.」「新」指本周被引、上周没出现。不含国内平台。 原文
21 世纪经济报道(肖潇、陶畅、隆欣玲,2025-04-14):照哥大 Tow 中心方法,10 家媒体各 3 篇、11 个版本 AI,共 330 次,让 AI 找一段文字的原文出处;约 25% 的回答标题、作者、链接三项全对。今日头条链接 37 次中 34 次来自豆包,公众号链接 27 条中 19 条来自元宝;约 14% 引的是转载链接,豆包 30 次中 8 次。DeepSeek 答「作者是澎湃新闻转自腾讯新闻」,又把一财报道的作者判为「刺猬公社」并配了不存在的网址。记者把一稿多发列为错因之一。 原文
大家也这样问
- 豆包回答里引的是竞品的文章,为什么引它不引我们?
- AI 引了我们官网,能看出它看上的是哪句话吗?
- 把被 AI 引用的网页拆开研究,能摸出它的引用规则吗?