这条在:GEO 图书馆 · 机制:AI 怎么找、怎么挑、怎么写

AI 标的参考资料,真的撑得住它那句话吗?

先说答案

不一定。

截至 2026 年 9 月 29 日,我们拿 9 月 28 日豆包对 13 个找 GEO(AI 搜索优化)服务商这类问法的回答,抽了 52 句带具体事实的句子(人工挑的,偏向有公司名和数字的句子,不是随机抽样),逐句去它列出的参考页上找:支持 21 句,部分支持 8 句,矛盾 2 句,没覆盖 11 句,页面打不开 10 句。去掉打不开的,能判的 42 句里,有一半左右参考页撑不住,或只撑住一部分。13 个回答加起来只有 10 个角标,8 个回答一个角标都没有,读者没法知道某一句出自哪一页。21 句「支持」里,靠官方或正规媒体页面的只有 3 句(其中 1 句是豆包把 GEO 听成地理信息的那一问),其余多是服务商自家站、白皮书,或带排名、通篇推介一家的稿子(按内容粗分,没查付费关系)。研究这边的数字也不好看:斯坦福 2023 年审计 4 个英文生成式搜索,平均只有 51.5% 的句子被所引来源完整支撑,测的是 2023 年初四个产品,现已改版或下线;EBU 和 BBC 2025 年评 2709 条新闻回答(免费版),31% 有重大来源问题,这个数是三类合计:所引来源撑不住这句话、根本没给来源、来源错或没法核实。最基本的一种是标了来源、来源里却没有这句话,芬兰公共台管它叫「仪式性引用」。OpenAI、Google、豆包、元宝自己都写了,引用或标注的来源可能不准确。

「豆包引了我们官网,可它说的不是我们写的。」这是我们照品牌方的处境拟的一句问法;百度联想里有人问的是它的变体:「豆包引用的参考文献怎么都查询不到」「豆包引用的期刊文献怎么和文献真实内容完全不一样」。回答下面那一排灰色小字,看着像脚注,让人觉得这句话是有出处的。它到底撑不撑得住?我们没找到国内有人拿数说过,就自己数了一遍。

我们怎么数的

材料是 9 月 28 日手机豆包 App 对 13 个问法的回答,问的都是找 GEO(AI 搜索优化)服务商这一类,一个账号、每问一次。从每个回答里抽出带具体事实的句子,有数字的、有公司名的、写着「据某某」的,一共 52 句;抽句是人工挑的,偏向有公司名和数字的句子,不是随机抽样。然后逐句去它列的参考页上找。参考面板只给标题、不给网址,我们按标题去搜原页,只认标题基本一致的;237 条标题里,找到并打开的约 91 条,另有 57 条带话题标签、看着像短视频或笔记。

每句判五档。支持:句子里每个具体事实页面上都有,可以换说法,不能加码;头衔换个说法、没有新事实的,比如页面写「支柱单位」、回答写「核心基座单位」,这次仍算支持。部分支持:对上一部分,其余页面没写,或者被说重了。矛盾:页面上的说法跟它冲突。没覆盖:打开的参考页里都找不到。页面打不开:挂的那条打不开、找不到原页,或者是短视频、没有可核对的文字。判定是一个人做的,明细和每一页原文存在母本内部档案,这篇不附。

数出来是这样

52 句里:支持 21 句,部分支持 8 句,矛盾 2 句,没覆盖 11 句,页面打不开 10 句。把打不开的 10 句去掉,能判的 42 句里,支持的占一半,部分支持将近两成,矛盾 2 句,没覆盖 11 句,四分之一多一点。也就是说,能判的句子里,有一半左右参考页撑不住,或者只撑住一部分。

还有两件事比比例更要紧。

一是角标很少。13 个回答加起来只有 10 个角标,8 个回答一个都没有。没角标的句子,读者没法知道它出自哪一页,我们只能拿整张参考表去对,只要有一篇支持就算支持,这个口径对豆包是偏宽的。有角标的 10 句里,5 句支持、2 句部分支持,另外 3 句的角标都指向同一个行业协会网站,我们连不上。

二是「支持」不等于「可信」。21 句支持里,靠官方机关或正规媒体页面撑住的只有 3 句,其中 1 句来自豆包把 GEO 听成地理信息的那一问;靠公司自家官网、白皮书、自家号的有 8 句,其中 1 句疑为自家站、1 句只对了面板摘要(摘要自称榜单第一,原页没打开)、1 句面板标的是媒体站、对上的是标题相同的企业博客;另外 10 句靠的是门户、媒体频道、自媒体号上的排名稿或推介稿,其中 1 句只对了面板摘要、原页没打开。这是按内容粗分的,没查付费关系。对得上的页面里,排名稿和推介稿最多。

几个具体的例子

例一,角标挂政府网,硬话来自另一篇。豆包说一家服务商是团体标准的「核心制定单位」,角标指向静安区政府网;政府那页写的是「参与相关团体标准的研讨与制定」。「核心制定单位之一」这句话,出自同一回答里另一条参考,界面新闻上的一篇推介稿(按内容判断,没查付费关系)。

例二,参考说不能承诺,回答给了数。一篇参考在问答里写「这个问题不能承诺固定时间」,问的是多久能改善;豆包答「收录不是即时生效,一般1~4周」。我们判了矛盾,但要说明:那一问打开的 5 条参考里只有这一条讲时间,其余 21 条没打开,「1~4周」可能来自那些页面。同一天,它在另外两个问法里分别答「2~6个月」「3~6个月」。

例三,把「削弱」说成「直接忽略」。参考页写公司名称、电话、地址这些「不能互相冲突,否则会削弱AI对品牌实体的判断」,豆包写成「AI会直接忽略你的企业信息」。

例四,自己发的榜单,被说成「常年 TOP1」。一家海外服务商在自家站上发了一篇 2026 年十大 GEO 机构的英文榜,把自己排第一;豆包说它「海外榜单常年TOP1」。第一对得上一张榜,那张榜是它自己发的;我们打开的那页里找不到「常年」的依据。

例五,角标对上了,对上的是推介稿。豆包对一家服务商业务的三点描述,和角标指向的那一页一一对上;那一页挂在一家媒体网站的财经频道,通篇推介这一家。这句我们判「支持」,它说明的正是:支持只回答「对不对得上」,不回答「这页可不可信」。

别人测出来也差不多

英文世界里这件事已经被测过几轮。斯坦福 2023 年审计当时的四个生成式搜索,平均只有 51.5% 的句子被所引来源完整支撑,只有 74.5% 的引用真的支撑了它挂着的那句话;同一篇还有一个反直觉的发现,在那四个系统之间,看起来越有用的,引用精度越低,是相关不是因果,样本点也少。那几个产品现在都改版或下线了,数字不能套到今天的豆包,方法可以借。普林斯顿的 ALCE 基准做过一个对照:先不看资料写答案、事后再补引用,引用质量明显更差。宾州州立和 Salesforce 2025 年审计三个答案引擎,各家约四分之一到三成的句子不被所列来源支持,支持与否是 GPT-4o 自动判的;论文还专门点了 BingChat:来源列得多,正文却不挂角标,「可能让人觉得有多个来源在背书」。

新闻机构测的是自己的领域。EBU 和 BBC 联合 22 家公共媒体,让职业记者评了 2709 条新闻回答(免费版),把「来源」的判定问题定成和我们很接近的一句话:回答里的说法,有没有被它给的来源支持。结果 31% 的回答有重大来源问题,是所有问题里最大的一类;这个 31% 是三类合计:所引来源撑不住这句话、根本没给来源、来源错或没法核实。单看这一项,Gemini 72%、ChatGPT 24%、Perplexity 和 Copilot 各 15%。报告写,最基本的一种问题就是「标了来源,来源里却没有这句话」,芬兰公共台的评估员管它叫「仪式性引用」:加上去是为了显得查过,核对时撑不住。哥大 Tow 中心让 8 个 AI 给一段原文找出处,六成以上答错,DeepSeek 在 200 次里 115 次把出处安错,Gemini 和 Grok 3 过半回答引了打不开或编出来的网址;那是找出处的错误率,不是一般回答的错误率。

OpenAI、Google、豆包、元宝自己都写了引用可能不准。OpenAI 的搜索帮助页写「搜索结果和引用可能不完整、过时或错误,点开来源核对它是否支撑回答」;Google 说 AI 概览「会犯错」,让你点开支持信息的链接看。豆包的用户协议写得很白:「即使标注了搜索来源,输出内容仍可能存在不准确之处……特别是其中包含的数字、时间以及各类事实性描述等内容,请自行核实后再进行使用」;元宝也写了,虽然标注了搜索来源,仍可能不准确,请注意甄别,没有专门点数字。

角标是怎么挂上去的

各家机制不一样。OpenAI 的接口会标明,这条引用对应回答里从第几个字到第几个字。腾讯混元的接口要打开开关,才会在「命中搜索的片段后」加角标;列表里有序号、标题、链接、站点名、图标,没有位置字段。火山方舟联网插件的示例里,标注有标题、网址、站点名、发布时间、摘要,也没有「对应第几个字」;正文里的 [1] 出自官方系统提示词模板里的建议写法,是让模型自己写的。这些都是接口。豆包 App、元宝 App 的角标怎么生成,字节和腾讯没写。所以「豆包角标就是那句话的出处」这个说法,眼下是推断。

对得上,不等于它是照着这页写的

这一节替角标说句公道话,也把我们这次能说和不能说的分开。

我们逐句对过的,只是页面上有没有这句话。它是先写好再找一页来配,还是照着那页写的,这次看不出来。2025 年一篇论文把这两件事分开测,在一个模型、1444 道问答上,最多 57% 的引用是事后合理化,答案先由模型自己给出,再挂一个说得通的来源。所以我们那 21 句「支持」,只能当「对得上」的比例看,不能说豆包是照着那页写的。反过来,「没覆盖」的 11 句也不等于编的,它们可能来自我们没打开的那 146 条参考(其中 57 条带话题标签,看着像短视频或笔记),也可能来自面板没列出的来源,或者模型的训练记忆。

话说回来,AI 标了来源总比不标好,能点开去核,就比一句没出处的话强。读者点不点,我们没测过。

对品牌方意味着什么

AI 引了你的页面,说的却不是你写的,按这批数据看,不稀奇:它可能把同一回答里另一篇的说法安在你头上(例一),可能把你页面上的谨慎说法说重(例三),也可能拿你的页面给它自己的判断背书。你能做的有限,但有两件:一是自己的页面上把事实写清,数字、时间、范围一个不缺,至少让页面上的原话可以被核对,这能不能减少它加码,我们没测过(例二里参考页明写了不能承诺时间,豆包还是给了数),做法在《品牌的「原件」是什么?》里;二是看到 AI 引了你,去对一下它说的和你写的,对不上就记下来,这是《AI 转述品牌时,哪类信息最容易出错?》那条要收集的东西。

读者这一头,看到「据某某报道」,想核的话得费点劲:手机上的角标只显示站名前几个字,参考面板没有网址,我们 237 条标题只找到了约 91 条原页。能做的是按标题去搜,看那一页是谁的地盘。这批题里,撑住 AI 说法的页面,8 句是被说到那家自己的官网、白皮书或自家号(含上面说的那几句疑似和只对了摘要的),10 句是排名稿或推介稿,官方和正规媒体只有 3 句。

这些结论别往外推

  • 样本只有一次、一个账号、一台手机,平台只有豆包,问法 13 个,而且全是「找 GEO 服务商」这类题,参考里服务商稿本来就多;换题材、换平台,比例会不一样。
  • 抽句是人工挑的,偏向有公司名和数字的句子,不是随机抽样;判定一个人做,换个人判,「支持」和「部分支持」的边界最容易划得不一样。
  • 没角标的句子我们拿整张参考表去对,有一篇支持就算支持,这个口径偏宽;角标对应哪一篇,是按站名和标题推断的。
  • 找原页只认标题一致的,同一篇稿在多个站转载、标题略改的算找不到;页面内容和豆包读取时是否一样,我们不知道。
  • 「没覆盖」不等于编的;「支持」不等于照着写的,也不等于那页可信;页面性质是按内容粗分的,没查付费关系。
  • 引的研究几乎都是英文的,测的是新闻或通用问答,产品版本在 2023 到 2025 年;31% 是三类合计,51.5% 那批产品已下线,57% 只测了一个模型。国内四家 App 在品牌、服务商这类问题上的引用支持率,我们没看到公开研究。

我们的判断是:那排灰色小字告诉你的,是它列出过哪些页,不是这句话从哪来。这批题里能判的句子,一半左右撑不住或只撑住一部分;撑得住的,又多半站在被说到那家自己的页面或推介稿上。对品牌方,这是个提醒:AI 嘴里关于你的话,出处可能是你,也可能是你旁边那篇推介稿。

出处 13 条,A 级 9 条、B 级 4 条 · 展开全部
  1. 母本自测(豆包回答取于 2026-09-28 09:18–09:50,手机豆包 App,一个账号;核对 2026-09-29):13 个问法的回答里抽 52 句带具体事实的句子,逐句去参考页找。五档:支持 21(40%),部分支持 8(15%),矛盾 2(4%),没覆盖 11(21%),页面打不开 10(19%);能判的 42 句里支持 50%、部分支持 19%、矛盾 5%、没覆盖 26%。判定标准:支持=句中每个具体事实页面上都有,可改写不可加码,头衔换个说法、没有新事实的(如「支柱单位」写成「核心基座单位」)这次仍算支持;部分支持=对上一部分,其余没写或被说重;矛盾=页面说法与之冲突;没覆盖=打开的参考页里都找不到;打不开=挂的那条打不开、找不到原页,或是短视频、没有可核对的文字。抽句人工挑、偏向有公司名和数字的句子,一人判定。明细和原始页面存在母本内部档案,不公开。 原文

    母本自测 · 母本做品牌 AI 搜索优化 · B 级 · 核对于 2026-09-29

  2. 母本自测·角标与参考:13 个豆包回答正文合计 10 个角标,8 个回答为 0;手机角标只显示站点名前几个字,不显示篇名。参考面板只给标题不给网址,13 问 237 条标题(未去重),按标题找到并打开原页约 91 条(38%),57 条带「#话题」标签、看着像短视频或图文笔记。有角标的 10 句:支持 5、部分支持 2、打不开 3(都指向同一个连不上的行业协会网站)。21 句支持里,撑住它的页面:官方机关或正规媒体 3(其中 1 句来自豆包把 GEO 听成地理信息的那一问);自家官网、白皮书、自家号 8(1 句疑为自家站,1 句只对了面板摘要、原页没打开,1 句面板标的是媒体站、对上的是标题相同的企业博客);排名稿或推介稿 10(其中 1 句只对了面板摘要、原页没打开);按内容粗分,没查付费关系。 原文

    母本自测 · 母本做品牌 AI 搜索优化 · B 级 · 核对于 2026-09-29

  3. 母本自测·五个典型例子(公司名一律不点,原页网址含公司名的只记内部存档):①豆包说一家服务商是《生成式引擎优化(GEO)团体标准》「核心制定单位」,角标指向静安区政府网,政府页原文是「参与相关团体标准的研讨与制定」,「核心制定单位之一」出自同一回答另一条参考、界面新闻上的一篇推介稿(判部分支持)。②参考页在问答里写「这个问题不能承诺固定时间」,豆包答「收录不是即时生效,一般1~4周」(判矛盾;该问其余 21 条参考没打开,「1~4周」可能来自那些);同一天豆包在另两问里分别答「2–6个月」「3–6个月」。③参考页写公司名称、电话、地址等「不能互相冲突,否则会削弱AI对品牌实体的判断」,豆包写「AI会直接忽略你的企业信息」(判部分支持)。④一家海外服务商在自家站发了一篇 2026 年十大 GEO 机构的英文榜,把自己排第一,豆包说成「海外榜单常年TOP1」(判部分支持;我们打开的那页里找不到「常年」的依据)。⑤豆包对一家服务商的三点描述与角标「中国日报网」那页一一对上,那页挂在中国日报网财经频道、通篇推介这一家(判支持)。 原文

    母本自测 · 母本做品牌 AI 搜索优化 · B 级 · 核对于 2026-09-29

  4. Liu、Zhang、Liang(斯坦福)《Evaluating Verifiability in Generative Search Engines》(EMNLP 2023 Findings):「On average, merely 51.5% of generated sentences are fully supported with citations (citation recall), and only 74.5% of citations support their associated sentence (citation precision).」「citation precision is inversely correlated with perceived utility (r = −0.96)」,是 4 个系统之间的相关。测的是 2023 年初的 Bing Chat、NeevaAI、perplexity.ai、YouChat,每个 1450 个英文查询,人工标注;这些产品已改版或下线。 原文

    同行评审论文 · 学术研究 · A 级 · 核对于 2026-09-29

  5. Gao、Yen、Yu、Chen(普林斯顿)《Enabling Large Language Models to Generate Text with Citations》(ALCE,EMNLP 2023):定义「citation recall, which determines if the output is entirely supported by cited passages」和「citation precision, which identifies any irrelevant citations」;在 ELI5 上「even the best models lack complete citation support」约半数;先写答案再补引用(PostCite)的引用质量明显更差。研究用系统,不是消费级 App。 原文

    同行评审论文 · 学术研究 · A 级 · 核对于 2026-09-29

  6. Wallat、Heuss、de Rijke、Anand《Correctness is not Faithfulness in Retrieval Augmented Generation Attributions》(ACM ICTIR 2025,arXiv 2412.18004):把「引用正确性」(来源支持这句话)和「引用忠实性」(模型确实依据这个来源生成)分开,「reveals the prevalent issue of post-rationalization」,最多 57% 的引用是事后合理化。只用一个模型(Command-R+)、NaturalQuestions 1444 题;57% 是「最多」。 原文

    同行评审论文 · 学术研究 · A 级 · 核对于 2026-09-29

  7. Venkit 等(宾州州立、Salesforce)《Search Engines in an AI Era: The False Promise of Factual and Verifiable Source-Cited Responses》(ACM FAccT 2025,arXiv 2410.22349):审计 You.com、Perplexity、BingChat,303 个查询,「answers generated by all models contain a significant proportion of statements unsupported by listed sources」,BingChat 约四分之一不被支持,You.com、Perplexity 约三成;另一项指标里 Perplexity 过半引用不准。BingChat 列来源多但不挂角标,「potentially creates a false sense of factual backing from multiple sources」。支持与否由 GPT-4o 自动判。 原文

    同行评审论文 · 学术研究 · A 级 · 核对于 2026-09-29

  8. 哥伦比亚大学 Tow 数字新闻中心(Jaźwińska、Chandrasekar,CJR 2025-03-06):8 个带搜索的 AI 工具、20 家出版方各 10 篇、1600 次查询,任务是给一段原文找出标题、出版方、日期和网址。「Collectively, they provided incorrect answers to more than 60 percent of queries……Perplexity answering 37 percent of the queries incorrectly, while Grok 3 had a much higher error rate, answering 94 percent」;「DeepSeek misattributed the source of the excerpts provided in our queries 115 out of 200 times」;「More than half of responses from Gemini and Grok 3 cited fabricated or broken URLs」。测的是找出处任务,不是一般回答的错误率;2025 年 2 月的版本、英文新闻。 原文

    研究机构实测 · 新闻学院研究中心 · B 级 · 核对于 2026-09-29

  9. EBU 与 BBC《News Integrity in AI Assistants》(2025 年 10 月,回答生成于 2025 年 5–6 月):来源(sourcing)的判定问题是「Are the claims in the response supported by the source the assistant provides?」;「Sourcing was the biggest cause of problems, with 31% of all responses having significant issues with sourcing – this includes information in the response not supported by the cited source, providing no sources at all, or making incorrect or unverifiable sourcing claims」;各家:Gemini 72%、ChatGPT 24%、Perplexity 与 Copilot 各 15%。「The most basic was sources being cited in support of a claim but not containing the claim in question」;芬兰 Yle 评估员称之为「ceremonial citations」。22 家公共媒体、18 国、14 种语言、2709 条新闻问题回答,测的是免费版。 原文

    公共媒体机构研究报告 · 公共媒体 · A 级 · 核对于 2026-09-29

  10. OpenAI 帮助中心《ChatGPT search》:「Search results and citations can be incomplete, outdated, or incorrect. Open a cited source to check that it supports the answer」。OpenAI 开发者文档《Web search》:回答默认带行内引用,「the url_citation annotation object will contain the URL and title of the cited source, as well as the start and end index characters in the model's response where those sources were used」,是接口行为。 原文

    平台帮助文档 · 只讲 ChatGPT · A 级 · 核对于 2026-09-29

  11. Google Search Central《AI features and your website》(2025-12-10 更新):AI 概览和 AI 模式「may use a "query fan-out" technique……While responses are being generated, our advanced models identify more supporting web pages」;Google 搜索帮助:「AI Overviews can and will make mistakes.……Click the links to supporting information from the web」。原文没说每个链接和哪句话一一对应。 原文

    官方开发者文档 · 只讲 Google 搜索 · A 级 · 核对于 2026-09-29

  12. 火山引擎·火山方舟《Web Search(联网内容插件)》文档:返回的 url_citation 标注示例里有标题、网址、站点名、发布时间、摘要,没有对应回答第几个字的位置字段;正文角标 [1] 的格式写在官方的系统提示词模板里,是建议写法。腾讯云混元对话接口:「搜索引文角标开关……打开后,回答中命中搜索的结果会在片段后增加角标标志,对应SearchInfo列表中的链接」,不传时默认关;列表每条有序号、标题、链接、站点名、图标。都是接口,豆包 App、元宝 App 的角标怎么生成没有公开文档。 原文

    官方开发者文档 · 平台经营者 · A 级 · 核对于 2026-09-29

  13. 豆包《用户协议》(2026-09-17 生效)2.2.2:「本软件的输出内容是模型基于自然语言理解能力对搜索来源中的信息的整合,即使标注了搜索来源,输出内容仍可能存在不准确之处,仅供你参考……(特别是其中包含的数字、时间以及各类事实性描述等内容,请自行核实后再进行使用)」。腾讯元宝《用户服务协议》:「虽然标注了搜索来源,但仍可能存在不准确之处,不代表本服务提供方赞成公开来源信息及回复内容的立场和观点,请您注意甄别。」Kimi 协议只说整合、不背书;DeepSeek 协议说联网「在一定程度上」提升准确性,没专门讲标注的来源。 原文

    平台用户协议 · 平台经营者 · A 级 · 核对于 2026-09-29