这条在:GEO 图书馆 · 做法:哪些有证据

一条回答为什么引了那个网页?能拆到哪一步

先说答案

截至 2026 年 10 月 2 日,品牌方从平台外面拆一条 AI 回答的引用,能拆实的只有一步:打开被引网页,找撑住那句话的原文,按完全支持、部分支持、不支持三档判断。

拿被引页跟没被引的页比写法,比出的只是待检验的假设,平台怎么排序加权、模型照着哪一段写的,站外拆不出来。最要紧的限定是,站外通常看不到 AI 这一次的候选池,所以品牌方看到一次被引只能当线索,不算规律。

问豆包一个行业问题,回答里挂着竞品的一篇文章,管品牌的人自然想知道它凭什么引那篇。从平台外面拆,到底能拆到哪一步?我们把论文、平台文档和国内实测翻了一遍,大致是:第一步拆得实;第二、第三步看写法、跟没被引的页面比,只拆得出假设;第四步再问几遍,看的是它重不重复;再往下,就是平台里面的事了。

第一步:在原网页里找撑住那句话的原文

这一步学术界有现成的做法。斯坦福的 Liu 等人 2023 年审计过四个英文生成式搜索,标注员逐句看,把被引网页里撑得住那句话的最少几句复制出来当证据,再分三档判:信息全对得上是完全支持,只对得上一部分是部分支持,哪部分都对不上是不支持。论文按整句判,我们没有沿用整句判定的口径:一句话里有数字、有名字、有时间,就拆开一项一项对。

判的人之间其实也有分歧。论文另抽了 250 组请三个人各标一遍,「这条引用撑不撑得住」一项,两两一致率是 82.0%,差不多每五六个判断就有一个不一样,所以判法要写下来,最好两个人各判一遍。而撑不住的也不少见,那四个产品平均只有 74.5% 的引用撑得住所挂的那句话。那是 2023 年的英文产品,数不能套到今天,可点开对不上并不稀奇。

对不上时要分开记。页面打不开或还没看完,记「无法核验」;当前这一版看完了、确实撑不住,记「当前页面不支持」;回答生成时页面是不是这一版常常确认不了,就另记「历史版本未知」,它不推翻对当前页面的判断。找不到一模一样的原句,本身也不算不支持,回答可能改写过,或者把几处揉成了一句。

有些开发者接口会给出被引的原文片段:Claude 接口的引用带 cited_text,最多 150 个字符;百度千帆「智能搜索生成」接口带「200字以内的相关信息原文片段」,可文档没说这就是模型写那句话时依据的段落。片段帮你定位,撑不撑得住还得人来对;App 里逐句对下来的情况,见这一篇。

第二步:看那段是怎么写的

找到原文,下一步是看它写得有什么特别。常听到的检查有三样:有没有数,有没有出处,能不能单独成立。我们读到的实验里,因素隔离得比较清楚的,是 Sprinklr 三名员工做的一组,收进了 SIGIR 2026 论文集:每次给模型两篇只差一个因素的消费品评测,看第一条引用落在谁头上。六个模型一致、效应又大的「守门因素」有四个:不切题、没写价格、时间戳旧、在候选列表里靠后;分节整理还是一大段、信息集中还是分散,都没影响。

回到那三样。「有没有数」,这组实验撑着的只有「写没写价格」,而价格在消费品评测里本来就是要看的信息,推不到一般的数字上。「有没有出处」这篇没测,普林斯顿那篇 GEO(AI 搜索优化)论文在自己搭的引擎里测过,见这一篇;「能不能单独成立」只有平台的定性说法,见这一篇。还得记着,实验里两篇都已经交到了模型手里,量的是谁先被引,不是被不被引,测的也是模型接口,不是豆包、元宝这些 App。拿它去量竞品那页,量出来的只是假设。

第三步:跟没被引的页面比,只比得出猜测

Sprinklr 为什么每次只放两篇?论文自己说了,每多一篇真实检索到的网页,重合度、冗余度和一堆质量信号就同时变,引用的变化再也追不到某个因素上。而真实产品一次常常取五到十篇,甚至更多。

到了真实产品里还多一个漏洞:你看不到这一次的候选池。你自己搜到一篇没被引的页面,它可能压根没进 AI 的候选。百度千帆联网搜索接口就把「检索的文献数量」和「用于给大模型总结的文献数量」分成两个参数,搜到的、交给模型的、最后引用的,是三拨东西。OpenAI 接口的 sources 字段会列出模型这次参考过的全部网址,Claude 接口也返回搜索结果块,只是正文加了密。这些都是开发者接口,App 是不是同理文档没写,也不等于平台交出了完整的候选池。

所以只比你看得到的、同一个检索词下排在前面却没被引的页面,比出的差别只当待检验的线索,别当原因。

国内还多一层:同一篇内容有好几张面孔。21 世纪经济报道 2025 年 4 月拿报道片段问 11 个版本的 AI 要原文出处,标题、作者、链接三项全对的只有约 25%。这跟核引用方向相反,但有个提醒:今日头条的链接出现 37 次,34 次来自豆包。这组数据只能说明头条号链接更多来自豆包,不能据此认定豆包偏爱头条号;拆到一条挂着头条号转载的引用,原因可能出在平台能搜到哪里,未必是那页写得好。记者还把一稿多发列为错因之一,所以追到原页,先确认是不是原发。

第四步:再问几遍,同一家和换一家是两回事

命中一次,先别当真。假设每次回答互相独立、这段时间出现率不变,问 3 次出现 2 次,按 Wilson 95% 置信区间算,真实出现率大约在 21% 到 94% 之间,只够说「出现过」,怎么算的见《同一个问题要测几次才算数?》。

隔一段时间再问,又混进了平台本身的漂移,各家差得很远。卖 SEO 工具的 Sistrix 跟踪了六个国家 17 周:ChatGPT 每周约 74% 的被引域名是上周没出现过的,Google AI 概览反倒很稳,53% 的提示词 17 周里一个来源都没换。同样一句「隔一周没复现」,在这两家分量不一样。隔多久再问最合适,我们读到的研究里没有验证过;每一轮把问法、平台、页面版本和结果记下来,没命中的也记。

换一家问,看的是别处有没有:没复现,不代表头一家那次是偶然;也被引了,也只是多了一个观察。两样都证明不了是这页的哪一处写法让它被引的。

拆不到的三样

一是候选池,开发者接口列出的检索记录也不是完整的候选池。

二是排序和权重。Bing 站长工具能告诉你自家页面被 Copilot 和 Bing 的 AI 摘要等引了多少次,可微软也写明,「平均被引页面」不代表排名、权威,也不说明某页在某条回答里的角色,数据还是抽样。国内《互联网信息服务算法推荐管理规定》要求公示算法推荐的「基本原理、目的意图和主要运行机制等」,可没有专门讲 AI 搜索的引用排序,单次引用的权重要公开到什么粒度,条文里没写。

三是模型到底照着哪一段写的。MIT 的 ContextCite 把引用分成两种:佐证型,是这段资料支持这句话;贡献型,是这段资料让模型写出了这句话。找贡献型得拿那一次的完整上下文一段段拿掉、反复重跑,按我们对方法的理解还得看得到生成概率,只凭产品里显示的回答和引用,通常拿不到。所以站外能做的基本是佐证型核对,而撑得住,也不说明模型是读了这页才写的。

结论

  • 品牌方从平台外面拆一条 AI 引用,拆得实的是逐句核对:在被引网页里找撑住那句话的原文,按完全支持、部分支持、不支持三档判断。这套判法出自斯坦福 2023 年对四个英文生成式搜索的审计,判的人之间也有分歧,所以判法要写下来,最好两人各判一遍。
  • 逐句核对对不上时,页面打不开或没看完记「无法核验」,看完当前页面、确实撑不住记「当前页面不支持」,确认不了回答生成时的页面版本另记「历史版本未知」;找不到一模一样的原句,本身不等于不支持。
  • 拿被引页面和没被引的页面比写法,只能得出待检验的假设,因为站外通常看不到 AI 这一次的候选池;OpenAI、Claude 的开发者接口会返回检索过的网址,但这不等于平台公开了完整的候选池。
  • Sprinklr 三名员工的受控实验发现,两篇消费品评测已交给模型时,不切题、没写价格、时间戳旧、排在后面的那篇不容易先被引,分节整理和信息分散没有影响;这个结果不能推成「加任何数字都有帮助」。
  • 同一平台多问几次看的是被引能不能重复,换一个平台看的是别的产品是否也引它,两样都不能证明是页面的哪项特征带来了引用。
  • 平台的排序权重、模型到底依据哪一段写的,仅凭产品里显示的回答和引用拆不出来;《互联网信息服务算法推荐管理规定》要求公示算法基本原理等,但没有规定 AI 搜索单次引用的权重要公开到什么粒度。

「被引了一次,照着那页的写法改就行」?

这说法不是凭空来的:Sprinklr 那篇做了受控设计,作者据此给出一份 GEO 清单,还在公司内部试点过。三位作者都在 Sprinklr 工作,这家公司卖客户体验管理和营销软件。

可作者自己把结论限定在固定两篇之间的配对偏好,不是多篇网页一起竞争,真实检索里会不会带来一次引用,没有端到端测过。它量的是第一条引用,排第一不等于最权威,也不等于点击最多;材料是消费品评测,你那一行未必一样。你看到的那次命中,既没排除波动,也看不到候选池和权重。照着改了能不能复现,得用同期对照去测,做法见这一篇。

这些结论别往外推

  • Liu 等测的是 2023 年初的四个英文产品,已经改版或下线;方法能借,74.5% 这类数字不能套到今天。
  • Sprinklr 的实验只看两篇候选里谁先被引,材料是消费品评测,用的是模型接口,不是 App。
  • Sistrix 的漂移数据测的是海外产品,不含国内平台。
  • 21 财经测的是「给一段文字找出处」,方向跟核引用相反;头条号那组数字只说明关联。
  • Claude、OpenAI、千帆的字段都出自开发者接口,不代表对应 App 的界面。
  • 法规部分按条文读。

核对记录

  • 2026 年 10 月 2 日重开原文核了几处:Liu 等论文附录 E 里,「单条引用是否支持」的一致率是 82.0%,「几条合起来是否支持」是 82.2%;Sprinklr 论文的材料是 100 篇化名的消费品评测;Bing 公告的两个网址是同一篇。其余出处沿用 10 月 1 日的读取。
出处 13 条,A 级 10 条、B 级 3 条 · 展开全部
  1. Liu、Zhang、Liang(斯坦福)《Evaluating Verifiability in Generative Search Engines》(Findings of EMNLP 2023)。第 4.4 节:判为完全或部分支持的引用,标注员要「copy-pasting the minimal set of sentences from the cited webpage that support their judgment (if any such sentences exist)」。第 2.4 节:三档 Full support / Partial support / No support,标准是普通读者会不会认可「According to cited webpages [citations], [statement]」;一句挂多个引用的,另判这几页合起来能否完全支持。每组只标一次,另抽 250 组三人复标;附录 E 的一致率表里,「Citation Supports」两两一致率 82.0%,「Statement Supported」82.2%。Limitations:「verifiability is not factuality」;一句常含多个说法,按整句判是「for simplicity and reproducibility」。测的是 2023 年初的 Bing Chat、NeevaAI、perplexity.ai、YouChat,英文。 原文

    同行评审论文(Findings of EMNLP 2023) · 学术研究,作者与被测产品无商业关系 · A 级 · 核对于 2026-10-02

  2. 同一论文 ACL Anthology 页:「only 74.5% of citations support their associated sentence」,是所测四款产品的平均值。 原文

    同行评审论文(Findings of EMNLP 2023) · 学术研究;未见论文推销 GEO 服务或监测工具 · A 级 · 核对于 2026-10-01

  3. Vishwakarma、Kumar、Jamidar《What Gets Cited: Competitive GEO in AI Answer Engines》(收入 SIGIR 2026 论文集;arXiv 2605.25517 v1):材料是 100 篇覆盖 50 个 B2C 品类的产品评测文章,品牌、型号、发布方换成化名;每次给模型两篇候选,「differing in exactly one characteristic」;17 个内容因素两篇先后正反各跑一遍,「but not for Lower List Position, where order is the treatment」;每种组合 5 次;记录「which source is cited first」。「We never call a search engine.」每多一篇检索到的网页,「citation shifts could no longer be traced to one lever」。六个模型、18 个因素共 25.2 万次,四个守门因素「Topic Mismatch, Price Not Mentioned, Recent vs Old Timestamp, and Lower List Position」;「Formatting choices (Content Structure, Scattered Information) had no impact」。局限:「pairwise preferences over a controlled slate, not full multi-document competition」;「Production RAG often retrieves five to ten or more pages」。六个模型为 Gemini-2.5-Flash、GPT-5-Nano、GPT-5-Mini、GPT-5.2、Claude-3.5-Sonnet、Kimi-K2-Thinking,走模型接口。 原文

    会议论文(SIGIR 2026 论文集;arXiv 2605.25517) · 三名作者均为 Sprinklr 员工(卖客户体验管理与营销软件),论文据此给出 GEO 清单并在公司内部试点 · B 级 · 核对于 2026-10-02

  4. Cohen-Wang、Shah、Georgiev、Mądry(MIT)《ContextCite: Attributing Model Generation to Context》(NeurIPS 2024):「Corroborative attribution identifies sources that support or imply a statement.」ContextCite 是贡献型归因,「identifies sources that cause a language model to generate a given response」;「if a part of the context actually led to a particular generated response, then removing it should substantially affect this response.」「需要读到生成概率」是按方法推的,不是原文句子。 原文

    同行评审论文(NeurIPS 2024 主会) · 学术研究;代码开源 · A 级 · 核对于 2026-10-01

  5. Anthropic《Web search tool》开发者文档:每条引用带「`cited_text`: Up to 150 characters of the cited content」;搜索结果块带 url、title,正文以「`encrypted_content`」返回。新版工具(web_search_20260318)把 `response_inclusion` 设为 excluded 时,代码执行里用掉的嵌套搜索结果块不再返回。只对 Claude 接口成立。 原文

    平台官方开发者文档 · Anthropic 讲自家产品 · A 级 · 核对于 2026-10-02

  6. OpenAI《Web search》开发者文档:「sources returns the complete list of URLs the model consulted when forming its response」,行内引用「show only the most relevant references」;搜索动作「usually (but not always)」带实际搜过的查询词。接口行为,ChatGPT App 是否同理文档没写。 原文

    平台官方开发者文档 · OpenAI 讲自家产品 · A 级 · 核对于 2026-10-01

  7. 百度智能云千帆《智能搜索生成》(2026-09-30 更新):参考资料 content 字段为「网页内容,显示200字以内的相关信息原文片段」;另有角标开关。开发者接口,文档没说该片段就是模型写那句话所依据的段落。 原文

    平台官方开发者文档 · 百度讲自家产品 · A 级 · 核对于 2026-10-01

  8. 百度智能云千帆《联网搜索》(2026-07-09 更新):search_number「检索的文献数量」,reference_number「用于给大模型总结的文献数量」(需≤search_number),默认都是 10;enable_citation 角标开关默认关;search_mode 默认 auto,「用户query`1+1等于几`,默认不过联网搜索」。只对千帆 API 的 ERNIE 内置搜索成立。 原文

    平台官方文档(API 参考) · 百度卖千帆平台和 ERNIE 模型 API · A 级 · 核对于 2026-10-01

  9. Bing 站长博客《Introducing AI Performance in Bing Webmaster Tools Public Preview》(2026-02-10):Grounding Queries 是「the key phrases the AI used when retrieving content that was referenced in AI-generated answers」;平均被引页面「does not indicate ranking, authority, or the role of any page within an individual answer」;「The data shown represents a sample of overall citation activity.」覆盖 Copilot、Bing 的 AI 摘要和部分合作方。 原文

    平台官方公告 · 微软讲自家产品 · A 级 · 核对于 2026-10-02

  10. 《互联网信息服务算法推荐管理规定》(2022-03-01 施行)第二条:算法推荐技术包括「排序精选类、检索过滤类」等;第十六条:「以适当方式公示算法推荐服务的基本原理、目的意图和主要运行机制等」。没有专门针对 AI 搜索引用排序的条文。 原文

    部门规章原文 · 监管机关,无商业利益 · A 级 · 核对于 2026-10-01

  11. NIST/SEMATECH《e-Handbook of Statistical Methods》7.2.4.1:比例的 Wilson 置信区间及公式。按此算,3 次中 2 次的 95% 区间为 20.8%–93.9%;前提是各次回答互相独立、测量期间出现率不变。 原文

    政府机构统计手册 · 无商业利益 · A 级 · 核对于 2026-09-28

  12. Sistrix《AI Citation drift》(2026-05-01):六国 8.3 万条提示词、17 周(2025-12-17 至 2026-04-08);「AI Mode responses rotate by 56% per week, and ChatGPT by 74%」,ChatGPT 按网址算「85% per week」;AI 概览「In 53% of all prompts, not a single source changes over 17 weeks.」「新」指本周被引、上周没出现。不含国内平台。 原文

    厂商研究(博客) · 卖 SEO 与 AI 提示词追踪工具,文中推荐自家产品 · B 级 · 核对于 2026-10-01

  13. 21 世纪经济报道(肖潇、陶畅、隆欣玲,2025-04-14):照哥大 Tow 中心方法,10 家媒体各 3 篇、11 个版本 AI,共 330 次,让 AI 找一段文字的原文出处;约 25% 的回答标题、作者、链接三项全对。今日头条链接 37 次中 34 次来自豆包,公众号链接 27 条中 19 条来自元宝;约 14% 引的是转载链接,豆包 30 次中 8 次。DeepSeek 答「作者是澎湃新闻转自腾讯新闻」,又把一财报道的作者判为「刺猬公社」并配了不存在的网址。记者把一稿多发列为错因之一。 原文

    国内媒体实测(记者实测,非同行评审) · 市场化财经媒体,立场偏内容方 · B 级 · 核对于 2026-10-01