这条在：GEO 图书馆 · 被呈现：AI 怎么说你、怎么画你
「说得对」怎么量化：支持、矛盾、没覆盖
截至 2026 年 10 月 2 日，给 AI 对品牌说的话打分，有学术依据的一种做法是：把回答拆成只说一件事的短句，逐条对照品牌自己核过的事实页，标「支持」「矛盾」或「没覆盖」；其中「没覆盖」只说明在列明的材料里没找到证据，既不算 AI 说对也不算说错，要单列待核。
这三档并不是统一口径，在我们查过的方法里，好几套把「来源没写」和「来源说反了」合在一起算，所以不同报表的「准确率」不能直接比。这张表量的也只是 AI 的话跟品牌事实页对不对得上，不是现实里的真假。
AI 介绍一家公司，一句话里常常塞了好几件事。比如「某公司成立于 2015 年，总部在上海，服务过 300 家客户」，这是三件事，可能两件对、一件错，整句打「对」或「错」都别扭。2023 年的 FActScore 论文开头讲的就是这个：长回答里有依据的和没依据的往往混在一起，只给一个对错判断不够用。所以第一步不是判，是拆。
先拆：一行只放一件事
斯坦福的 Liu、Zhang、Liang 2023 年审计生成式搜索引擎，是逐句核的，凡是讲外部世界的句子都要核，讲系统自己的话、反问用户的话才剔掉，所以「以下是为您整理的信息」不用进表。可他们在局限一节里也承认，一句话常有好几个说法，按句子核太粗。FActScore 拆得更细，拆成一条只讲一件事的「原子事实」，开头那句就该拆成成立年份、总部城市、客户数三行。
中文还有个自己的坑。清华、剑桥等的研究者做中文事实核查数据集 CHEF，发现中文说法常缺时间：「非洲猪瘟导致猪价暴涨」，2020 年成立，2021 年就不成立了，得先补全再核。AI 说「目前有 200 名员工」，你也得先补上「截至什么时候」。
再对：三个标签是从哪来的
拆好了，每一行拿去对照事实页。「支持、矛盾、没覆盖」这三档，学术上的原型是 2018 年的 FEVER 数据集，逐条标「支持」「反驳」「信息不足」，前两类还要记下证据原句。CHEF 也用这三档，理由是分得更细，常常因为主观而判不一致。搬到品牌表上，大致是这样：
- 支持：事实页有一句话撑得住它，把那句原文贴在旁边。
- 矛盾：先确认说的是同一个主体、同一个时间、同一个统计范围，事实页上的原句又跟它不能同时成立，才算。原句同样贴上。
- 没覆盖：在你列出来的材料里，既没找到撑住它的话，也没找到否定它的话。写上查了哪几页、搜的什么词。
「矛盾」要卡严，差个年份，两句可能都对。AI 说的要是同名的另一家，或者改名前的旧主体，那是认错了对象，另记一格（见《同名、近名的品牌，AI 怎么分清？》）。AI 挂的链接打不开，也单记一栏，那句话照样拿事实页判。
下面是一张虚构的示例表：
| 拆出来的一条 | 事实页上的原句 | 标签 | 接下来 |
|---|---|---|---|
| 成立于 2015 年 | 「公司于 2015 年 3 月在杭州成立」 | 支持 | — |
| 总部在上海 | 「总部位于杭州市西湖区」 | 矛盾 | 追 AI 的说法从哪来 |
| 服务过 300 家客户 | 没找到（查了「关于我们」和案例页，搜「客户」） | 没覆盖 | 再翻年报、公众号 |
| 创始人是某某 | AI 说的是另一家同名公司 | 对象不对 | 单独记 |
实际用时还得记上平台、日期、原话怎么问、AI 的原句，事实页也写上页面日期。汇总时三档各报几条、分母多少，别把「没撑住」直接叫成「说错了」。
不少人其实不这么分
三档只是一种口径，我们翻到的几套里，不单列「矛盾」的并不少。Liu 等人给引用打「完全支持、部分支持、不支持」，没撑住的部分是「缺了」还是「矛盾」，都算没撑住。FActScore 剔掉跟问题无关的，剩下只分「支持」「不支持」，维基说反了、压根儿没写，都进「不支持」。厂商接口也差不多：Google Cloud 的「检查接地」返回的是支持分，开了主张级评分才逐句给；微软 Azure 的接地检测，快模式只返回「接地」「不接地」两种结果。这两家的文档都没单列「矛盾」，不能直接从输出里分别数出「没覆盖」和「矛盾」。
所以同一份回答按 FActScore 算和按 FEVER 算，结果可能不一样，这是我们照定义推的。拿到一张写着「准确率」的报表，先问三件事：分了几档，没写到的算不算错，分母是哪些句子。我们打开过一篇讲 GEO（AI 搜索优化）监测的行业文章，写着「核心关键信息要保证90%以上一致性」，怎么数、以什么为准都没交代。口径的事，《可见度、提及、引用、份额，这些 GEO 指标到底怎么算？》里拆得更细。
「没覆盖」先别急着下结论
「没覆盖」最容易读歪。很自然会想：事实页没写，补上就完了。其实没那么简单。FEVER 的「信息不足」是相对证据库说的，不说明那句话是假的。人也会漏看：拿专家在全维基里搜出的证据作参照，FEVER 普通标注员找证据的召回率是 72.36%。这个数说的是证据会漏，不能换算成判错了多少条。品牌资料要是散在官网好几页、PDF 和公众号里，照样会漏，你标的「没覆盖」可能只是自己没找着。也可能是 AI 从别处拿了旧资料、别人的稿子、同名公司的信息。
所以「没覆盖」更像「待核」：把别的官方材料再翻一遍，仍没找到，再决定要不要补一句公开说明。就算到这一步，说的也只是「我们这一圈没找到」，不是「哪儿都没有」。
这张表量不到的两件事
第一，对得上不等于就是真的。Liu 等人明说「可核验不等于真实」；FActScore 也只看指定来源怎么说，前提是来源内部不打架。品牌事实页是自己写的，能当核对基准，当不了第三方背书；官网正文写 2015 年成立、表格里写 2016 年，这张表怎么填都不对。卖监测工具的 Profound 在文档里说，很多不准确不是 AI 编的，是品牌自己发布的内容过时了。这是厂商的说法，可微软文档也把「确保来源准确、最新」列为最佳实践。所以先把事实页核一遍、写上日期，再查 AI，整理办法见《品牌的「原件」是什么？》。
第二，只看说出来的，不看漏掉的。FActScore 的作者自己承认，这个分数只算精确率不算召回，动不动就拒答、说得很少的模型，分数反而可能更高。所以还得另列一张清单：事实页上最要紧的那几条，AI 提到了几条。
谁来判
人和人会判得不一样。Liu 等人抽 250 个问答对、每对三份标注，判「这句话有没有被撑住」两两一致 82.2%。这说明会有分歧，可倒推不了品牌表准不准；拿不准的几句，最好找第二个人再看。
交给机器也有坑。Google DeepMind 的 SAFE 让大模型拆出单条事实、逐条去 Google 搜，跟众包人工的判断一致 72%。可它搜的是整个开放网络，别人写错你的稿子要是被它搜到又没认出来，它可能当成「支持」。Azure 的接地检测，官方说目前只支持英文。手上这些材料判断不了中文品牌场景里人和机器谁更准，我们只建议最要紧的几条留给人工复核。
落到中文这边
监管这头，《生成式人工智能服务管理暂行办法》管的是向境内公众提供的生成式人工智能服务。第四条讲提供和使用这类服务的规矩，第五项要求基于服务类型特点、采取有效措施，「提高生成内容的准确性和可靠性」；第七条另对提供者的训练数据提要求。可办法没规定怎么量、用什么标签，所以品牌这张表不是法定口径，用处是自查，和向平台反映问题时把证据理清楚。
国内媒体也逐句核过。21 世纪经济报道 2025 年 4 月让 11 款 AI 总结新闻，55 次回复里 42 次真假参半，完全正确的只有 4 次。在这次测试里，整段打对错会把对错混杂的情况盖住，这正是要先拆句的理由。
结论
- 给 AI 关于品牌的说法打分，第一步是把回答拆成一条条只说一件事的短句；对整句打对错，会把对一半错一半的句子判歪。
- 「支持、矛盾、没覆盖」三档出自事实核查研究（FEVER，中文的 CHEF 沿用），不是统一口径：FActScore 和 Liu 等人的审计把「来源没写」和「来源说反了」合算成没撑住，Google 和微软接地检测的文档也没单列「矛盾」。
- 品牌核对表里的「矛盾」，只该记确认了主体、时间、统计范围一致，又贴得出事实页原句的冲突；「没覆盖」只说明在列明的材料里没找到证据，既不算 AI 说对也不算说错，要单列待核，不能直接判成 AI 编造。
- 口径不同，算出来的「准确率」可能不一样，不能直接比；看到这类数字，先问分了几档、没写到的算不算错、分母是哪些句子。
- 品牌核对表测的是 AI 的话跟事实页对不对得上，不是现实里的真假；事实页自己错了或过时了，表照样会打「支持」。
- 品牌核对表只量 AI 说出来的话，看不出 AI 漏说了什么，漏说的要另列清单查。
- 逐句判断，人和人会判得不一样；一个人打的品牌核对表，拿不准的句子最好找第二个人复看。
事实页没写的，凭什么不算 AI 错？
PolitiFact 就不这么分。它的六档评级里，「半真」「大部分为假」说的正是漏了重要细节、忽略了关键事实，它还写明举证责任在说话的人。顺着这个逻辑，反方会说：AI 说了一句事实页没写、别处也查不到的话，用户照样可能信，归进「没覆盖」等于替 AI 开脱。这是我们的推论，PolitiFact 评的是政治人物的话，不是 AI。
这话有道理。折中的办法是把「没覆盖」再分两格：别的可靠来源撑得住的，和扩大检索后仍待核的。后一种值得盯着，可说到底也只是没找到，不能直接判成编造。至于三档会丢掉「部分支持」，那就先拆到一条只说一件事，实在拆不开的另记「部分支持」。
这些结论别往外推
- FEVER 对照维基，CHEF 对照网上检索来的证据，说法都不是 AI 的回答；把标签搬到品牌事实页上是方法借用，不是原实验。
- Liu 等人核的是 AI 自己挂的网页，FActScore 测的是人物小传，都不是对照品牌事实页。
- 几篇论文的百分比各有分母，FEVER 的召回率、Liu 等人的 82%、SAFE 的 72% 都是英文材料上测的，不能当成「品牌准确率」。
- 21 世纪经济报道测的是新闻总结，不是品牌介绍。
- 暂行办法管的是向境内公众提供的生成式人工智能服务，没规定品牌怎么量。
核对记录
- FActScore 标签档数：2026 年 10 月 2 日重开 arXiv HTML v2 第 3.3 节，无关的先标 Irrelevant 剔掉，相关的再分 Supported、Not-supported。
- 暂行办法：同日重开原文，第四条开头是「提供和使用」，第七条才专对提供者。
- Liu 等人一致率：重开第 3.3 节和附录 E，陈述获支持 82.2%。
- FEVER 召回：重开 PDF 第 3.4.2 节，专家对照抽的是 1% 数据、在全维基范围搜。
- PolitiFact：重开方法页，写到漏细节、忽略关键事实的只有 HALF TRUE、MOSTLY FALSE 两档。
出处 13 条，A 级 9 条、B 级 3 条、C 级 1 条 · 展开全部
Liu、Zhang、Liang《Evaluating Verifiability in Generative Search Engines》（Findings of EMNLP 2023），第 2.1、2.3、2.4、3.3 节、附录 E 与局限节：核对单位是「the segmentation 𝒮 is set of sentences in the response r」；「every generated statement about the external world is verification-worthy, even those that might seem obvious」，讲系统自己的话、反问用户的话除外；引用三档「Full support」「Partial support」（「other parts are not supported (e.g., missing or contradictory)」）「No support」；「Verifiability is not factuality」；250 个随机问答对各收三份标注，引用支持两两一致 82.0%，陈述获支持 82.2%；「sentences often have multiple claims … there is currently no clear linguistic definition on what constitutes a claim」。 原文
Thorne 等《FEVER: a Large-scale Dataset for Fact Extraction and VERification》（NAACL 2018）摘要：「The claims are classified as Supported, Refuted or NotEnoughInfo by annotators achieving 0.6841 in Fleiss kappa. For the first two classes, the annotators also recorded the sentence(s) forming the necessary evidence for their judgment.」数据集共 18.5 万条说法，证据库是维基百科。 原文
同一论文第 3.2、3.4.1、3.4.2 节：「The label NOTENOUGHINFO was used if the claim could not be supported or refuted by any amount of information in Wikipedia」；随机抽 4%（7506 条）五人复标，作者称 κ 0.6841「encouraging given the complexity of the task」；另抽 1% 数据交给不设建议时限的专家，「search over the whole Wikipedia for every possible sentence that could be used as evidence」，以此对照普通标注「the precision/recall was 95.42% and 72.36% respectively」。 原文
Min 等《FActScore》（EMNLP 2023 主会），arXiv HTML v2：开头「generations often contain a mixture of supported and unsupported pieces of information, making binary judgments of quality inadequate」；第 3.3 节，跟问题无关的标 Irrelevant 剔掉，相关的按英文维基「label either Supported or Not-supported」；「the truthfulness of a statement should depend on a particular knowledge source」；前提「Pieces of information in 𝒞 do not conflict or overlap with each other」；「FActScore considers precision but not recall, e.g., a model that abstains from answering too often or generates text with fewer facts may have a higher FActScore」。测的是人物小传。 原文
胡旭明等《CHEF: A Pilot Chinese Dataset for Evidence-Based Fact-Checking》（NAACL 2022）：1 万条真实中文说法，来源含腾讯较真、中国互联网联合辟谣平台；「fine-grained labels are often assigned inconsistently due to subjectivity … adopting three types of labels: supported (SUP), refuted (REF) and not enough information (NEI)」；第 3.2 节：说法常缺时间戳或地点，「Price of pork increases dramatically due to the African swine fever.」2020 年成立、2021 年不成立，标注员要先补全；同节写中文核查常用反问表达否定，要先改成陈述句。 原文
Google Cloud《Check grounding》（页面 Last updated 2026-09-30）：返回整段的支持分；「When the claim-level score is enabled, with each claim, a support score is returned」；「a sentence is considered a single claim」；引文按引用阈值给出；每条说法带 grounding-check-required 标记，为 False 时视为不需要核。文档没有单列「矛盾」一类输出。 原文
Microsoft Learn《Groundedness detection in Azure AI Content Safety》：快模式「Returns binary grounded/ungrounded results」；「Currently, groundedness detection supports English language content only.」；「Always ensure that your grounding sources are accurate and up-to-date」。 原文
Wei 等《Long-form factuality in large language models》（SAFE，NeurIPS 2024）摘要：用大模型把长回答拆成单条事实，逐条发 Google 搜索判是否被支持；「on a set of ~16k individual facts, SAFE agrees with crowdsourced human annotators 72% of the time, and on a random subset of 100 disagreement cases, SAFE wins 76% of the time」；「SAFE is more than 20 times cheaper than human annotators」。 原文
Profound 帮助中心《About FactCheck》：「compares each claim against your Knowledge Base, and classifies it as accurate, inaccurate, or not relevant. Only factual, actionable, and atomic claims are verified」；「In many cases, inaccuracies don't come from AI fabricating information. They come from a brand's own published content being out of date.」 原文
PolitiFact《Principles of the Truth-O-Meter》（2018-02-12 首发，页面标 2026-07-30 更新）：六档评级；「HALF TRUE – The statement is partially accurate but leaves out important details or takes things out of context.」「MOSTLY FALSE – The statement contains an element of truth but ignores critical facts that would give a different impression.」；「The burden of proof is on the speaker」。评的是政治人物的公开言论。 原文
《生成式人工智能服务管理暂行办法》（国家网信办等七部门，2023-07-13 公布，2023-08-15 施行）第二条：适用于向境内公众提供的生成式人工智能服务；第四条开头「提供和使用生成式人工智能服务，应当遵守……」，第五项：「基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性」；第七条针对提供者的训练数据处理：「采取有效措施提高训练数据质量，增强训练数据的真实性、准确性、客观性、多样性」。 原文
21 世纪经济报道 11 款 AI 新闻总结实测（2025-04-17，东方财富转载）：对 55 次回复逐句核查，错误分「无中生有」「错误总结」「移花接木」「无法核查」四类；「错误总结」最高频，所有 AI 都出现过，「占全部错误量的40%以上」；「大部分情况下AI的回答真假参半（42次，占比76.3%）」，完全正确 4 次。 原文
人人都是产品经理上一篇讲 GEO 监测的文章（2025-10-17）：「核心关键信息要保证90%以上一致性」，文中没定义怎么数、以什么为准。 原文
大家也这样问
- AI介绍我们公司说得对不对，怎么打分？
- 服务商报的AI回答准确率是怎么算出来的？
- AI说了一句我们官网上没写的话，算它说错了吗？