这条在：GEO 图书馆 · 衡量
怎么证明是改动起了作用，而不是 AI 自己变了？
截至 2026 年 10 月 2 日，品牌做 GEO（AI 搜索优化）改了页面后，光看改前改后涨了多少，分不清是改动的功劳还是 AI 平台自己变了；公开研究和厂商实验里常用的办法是同期对照：同一段时间、同一批问题，同时测改过的一组和没改的一组，比两组各自的变化差多少。
这样得出的只是估计，两组得同类、改前走势相近、改动没波及没改的那组，做到了也不能保证把平台自身的变化扣干净。
2026 年 7 月，卖 AI 可见度监测工具的 OtterlyAI 分两批，把自家博客 11 篇文章标题里的年份改了，再拿自家工具盯着它们在 AI 回答里被引用了多少次。两批各看了十五天，一批涨了 56%，一批涨了 61%。
可它同时还盯着三张没动过的参考页。其中一张标题里本来就带年份，在两个观察窗里分别涨了 64% 和 63%，比改过的还多；原文还提到另一张跌了 75%，没说是哪个观察窗。作者 Thaylise Nakamoto 写得很老实：「A page we never touched rose 63% over the same period, so we cannot credit the edit for the growth.」作者也交代了，这几张参考页没按主题、格式、原有引用量配对，所以只叫参考页，不叫对照组。
做 GEO（AI 搜索优化）的人常说「改完之后涨了」，毛病就出在这儿：光有改前改后不够，还得拿一组同期没改的东西来比。
AI 不用等你改，自己就会变
最硬的官方证据是 DeepSeek 给的。它的 API 文档写着，两个旧模型名还能用，可对应的模型已经退役，请求改由 DeepSeek-V4.1-Flash 来答。调用的人一行代码没改，背后已经换了模型。这页只讲 API，网页版和 App 什么时候换版本，它没写。
检索和排序也在变。Google 在官方文档里说，它经常通过测试改进排序系统，光是 2026 年公告过的核心更新就有 3 月、5 月两次。
整个平台也在涨。Glasp 这家公司 2026 年 1 月给自家网站一部分页面做了 AI 搜索优化，按月看，ChatGPT 带来的访问增至约 5.7 倍；可同站没动过的页面，同期也增至约 3.5 倍，作者把大头归给平台自己的顺风。这是一个网站、一个平台的预印本，作者就在这家公司上班。
再加上生成本身就带随机性。Olivier Martinez 2026 年 7 月挂出的 GEO 综述（单作者预印本）讲测量时头一条就是，不配对的改前改后比较，会把改动的作用和生成的随机性搅在一起，详见《同一个问题，AI 为什么每次答得不一样？》。
多问几遍管随机，对照组管漂移
多问几遍只管一件事：美国国家标准与技术研究院的实验设计手册说，重复测量是用来估随机误差的。而模型换了、索引更新了，这种漂移就不是同一天多问几遍能问掉的。卖 AI 可见度监测的 Profound 说得干脆：「You can't measure your way past drift.」在我们看来，最直接的办法是同一段时间里留一组没改的东西当参照。问几遍才够，另见《同一个问题要测几次才算数？》。
对照组怎么扣掉漂移
做 SEO 分组测试的 SearchPilot 讲得最白：页面分成改的一组、不改的一组，两组同时跑，算法更新、季节变化、竞争对手的动作两组一起吃，一比就扣掉了。它是卖这种测试平台的，「两组受的影响一样」也只是理想说法。
落到 AI 搜索上，Ahrefs 测结构化数据就是这么做的：1885 张新加了 JSON-LD 的页面，配 4000 张没加的对照页，用双重差分去比。它专门解释过，只做前后比较，量到的会是平台走势，不是结构化数据的效果。结果在它的样本和观察期里没看到明显提升（核对见结构化数据那篇）。
双重差分算起来就是几次减法：改的那组改后减改前，没改的那组也改后减改前，再拿两个差相减。剩下那一截才有可能算到改动头上，前提是两组本来走势相近。
Glasp 那篇做得更讲究，按周拿改过的页面从 ChatGPT 来的引荐会话量除以没改的，估出改动那会儿这个比值比原来的走势高出约 82%。可作者换些时间点假装那时做了改动，这种安慰剂检验的 p 值是 0.16，他们自己只说是提示，不是定论；改哪些页也是产品上的决定，不是抽签定的。
有了对照组，还会在哪出岔子
先是两组得像。算法更新可能只冲着某一类页面去，两组不是一类就抵不掉。Martinez 提醒，改前两组走势平不平行、安慰剂检验，都得先看。没改的那组还得真没被碰到：Glasp 的作者自己提过，要是优化让整个网站都更容易被引用，没改的页面也会沾光，算出来的效果反而偏小。
再是两组得在同一段时间测，先测一组、过一周再测另一组，模型更新就又混进来了。观察窗也要事先定好，Google 说它的搜索里，有的改动几个小时就生效，有的要好几个月。看什么指标也得先写下来，是被引用、品牌事实说对了，还是被点击；看完数据再挑涨了的指标、好看的时间窗，对照组也救不回来。
不经过真实搜索的实验，答的是另一个问题
NeurIPS 2025 收录的 C-SEO Bench 干脆绕开真实搜索：同一个问题、同一批文档、同一个模型，只把一篇换成改写版，看它被引用的名次变了多少。资料直接喂给模型，检索和索引的变化碰不到它。在它测的英文、四个 API 模型的条件下，多数改写方法基本没用，还常让名次往后掉（见这篇解读）。
代价是测不到「能不能被找到」。Martinez 综述的总结论正卡在这儿：在他看的这批研究里，已经进了上下文的内容，改写后确实会改变自己被引用的情况；可说到能不能被自然找到、用户后来怎么做，没有一种技术显示出稳定、长期、跨平台的因果效果。两种实验答的是两个问题，谁也替不了谁（另见《GEO 到底有没有用？》）。
页面少的品牌怎么办
SearchPilot 那种做法要成百上千张同类页面，官网就十几页的品牌凑不出来。有两种可以试的设计，还没验证过：一是按问题分组，一批问题对应你改了的内容，另一批对应没碰的，两批得先比比像不像；二是分批上线，先改一半，过一阵再改另一半，没改的那一半这期间就是同期参照，只是先改的先动，也可能只是被抓得早。这样做出来的，大多只能算「提示」。
落回国内
2026 年 9 月 28 日，我们在上海用同一台手机、同一个账号，每次开新对话问豆包「上海有哪些做GEO的公司」：早先一次，名单里没有一家做 AI 搜索优化的公司；当晚 22:19 那次列出了 6 家。29 日再问两遍，又都按「地理信息」去理解了。这几天我们没改过页面，原因没查明。一道题、一台手机，只说明什么都不改回答也会变，不说明每次都大变，同一份记录里元宝两遍的名单就挺稳。
规矩这边，中国新闻技术工作者联合会 2026 年 8 月发布的团体标准 T/CAPT 026—2026，要求服务方不应承诺「保证第一」「必然被大模型引用」，附录 E 说可以多平台、多时间点、多轮采样。可我们读完全文，没见到设对照组的要求。团体标准是自愿采用的，不是法规。
《广告法》第二十八条把「虚构使用商品或者接受服务的效果的」列为虚假广告的情形，拿「无法验证的」统计资料当证明也算。这不是说没做对照就违法，要看具体怎么宣传；只是「改完涨了」拿出去当效果宣传，能不能验证就不只是方法上的事了。
结论
- 截至 2026 年 10 月 2 日，判断 AI 回答的变化是不是品牌改动带来的，公开研究和厂商实验里常用的一种办法是同期对照：同一段时间、同一批问题，同时测改过的一组和没改的一组，比两组各自改前改后的变化之差。
- 同期对照得出的只是估计：两组要同类、改前走势相近，改动不能波及没改的那组，看什么指标要事先定好；做到这些，也不能保证平台自身的变化被完全扣除。
- 只比改前改后，说明不了涨幅来自改动：OtterlyAI 2026 年 7 月改了自家博客 11 篇文章标题里的年份，引用涨了，同期一张没改的参考页涨得更多，作者说不能把增长记在改动头上；这张参考页没跟改过的页面配对，不算严格对照。
- AI 平台会在品牌不知情时变化：DeepSeek 官方 API 文档写明，用两个旧模型名发出的请求已改由新模型来答；Google 说它经常改进排序系统。
- 同一个问题多问几遍，能估出回答的随机波动，但按 Profound 的说法，越不过平台自身的漂移。
- Martinez 2026 年 7 月的单作者综述认为，在其纳入的研究里，没有一种技术显示出对自然被发现或下游用户行为稳定、长期、跨平台的因果效果。
「改完就涨了，还不算有效？」
9 月 28 日我们测 DeepSeek，它在回答里转述了国内服务商的案例：「某酒店 26 天推荐率 53%」「从 3% 升到 17%」「引用率 4.31 倍」。回答里看不到同期对照，光凭这几个数撑不起归因。网上还有博客写，某医疗平台「通过A/B测试发现，结构化数据标记可使内容在AI生成答案中的引用率提升37%」，没给出处、平台和分母。
这些数不一定是编的，改动也可能真起了作用，只是光凭前后两个数证明不了。反过来也别觉得分不清就干脆不测，Martinez 那句结论的前半句说的正是，受控条件下因果测得出来。
要是有人拿「改完涨了 X%」来说效果，可以先问三件事：同期没改的那组涨了多少，每道题问了几遍，看的指标是不是事先定的。
这些结论别往外推
- Google 的几份文档只管 Google 搜索，代表不了国内平台。
- OtterlyAI、Ahrefs、SearchPilot、Profound 都卖测量或测试工具，用的是自家数据；OtterlyAI 的实验在美国，参考页没配过对。
- Glasp 那篇只看了一个网站、一个平台，指标是引荐流量不是引用，一揽子改动也分不出哪一项起作用。
- Martinez 的综述是单作者预印本，纳入 45 项研究，截到 2026 年 7 月 14 日，作者承认检索记录不完整；「没被证明」不等于「被证明无效」。
- C-SEO Bench 是英文、四个 API 模型，资料直接给模型，结论不能直接搬到线上自然搜索。
- 豆包那次是一台手机、一个账号、一道题，两次差异的原因没查明。
- 团体标准自愿采用，附录 E 是资料性附录。
核对记录
- OtterlyAI 标题实验：64%、63% 是同一张参考页在两个观察窗里的涨幅；原文另提到一张未改参考页跌了 75%，没说对应哪个观察窗。
- Glasp 论文：约 82% 由原文乘数 1.82 换算；对照页可能因整站沾光被抬高，是作者自己写的。
- 团体标准 T/CAPT 026—2026：10 月 2 日读完全文，没见到设对照组的要求。
- 《广告法》第二十八条：10 月 2 日对过市场监管总局公布的 2021 年修正文本，所引两项文字一致。
出处 18 条，A 级 8 条、B 级 8 条、C 级 2 条 · 展开全部
OtterlyAI，Thaylise Nakamoto，标题年份实验（最后更新 2026-07-31）：2026-07-09、07-13 分两批改了 11 篇文章标题里的年份，两批各观察十五天，改过的两组引用分别涨 56%、61%；跟踪的三张参考页里，标题原本就有年份的那一张在两批各自的观察窗里分别涨 64%、63%；原文另提到一张未改参考页下降 75%（「One of them dropped 75%.」），该段没明确对应哪个观察窗；11 页里 6 页涨、3 页跌、2 页前后都是 0。原话：「A page we never touched rose 63% over the same period, so we cannot credit the edit for the growth.」「We call these reference pages rather than a control group, since they were not matched to the test pages on topic, format or citation volume.」美国市场。 原文
Google Search Central《A guide to Google Search ranking systems》（2025-12-10 更新）：「We regularly improve our ranking systems through rigorous testing and evaluation and provide notice of updates to our ranking systems when those might be useful to content creators and others.」 原文
Google Search Status Dashboard，Ranking 历史：March 2026 core update（03-27 起，12 天 4 小时）、May 2026 core update（05-21 起，11 天 21 小时），另有 3 月、6 月、8 月、9 月（09-24 起）的垃圾内容更新。只管 Google。 原文
Ahrefs，Louise Linehan 撰文、Xibeijia Guan 做研究（页头 2026-05-11）：1885 个新加 JSON-LD 的页面配 4000 个对照页，用双重差分比引用变化；「If Xibeija had just done a simple before-and-after comparison, it would have been measuring the platform trend, not the schema effect.」（人名拼写照页面原样）；「Citations across all of AI search were moving during this period; AI Overviews were contracting, AI Mode was exploding.」非随机分配，样本是本来就常被引用的页面，平台为 Google AI 概览、AI 模式和 ChatGPT。 原文
Keisuke Watanabe、Kazuki Nakayashiki（Glasp Inc.）《Disentangling Answer Engine Optimization from Platform Growth》（v1 2026-06-03）：干预在 2026 年 1 月；「raw growth is dominated by the platform tailwind: on monthly aggregates total ChatGPT referrals grew 5.7x while untreated pages on the same domain grew 3.5x」；按周的改动页/未改页 ChatGPT 引荐会话量之比做中断时间序列，「a discrete, intervention-aligned level increase of ×1.82 (95% CI 1.31–2.54)」，置换检验「permutation p-value is 0.16」，作者称「suggestive, not conclusive」；「We do not claim a randomized effect: the interventions were a product decision, not a randomized trial」；效度威胁一节：「If AEO raised domain-level citation propensity, untreated pages also benefited, inflating the control and biasing DiD downward」。一个网站、一个平台，指标是引荐流量。 原文
Olivier Martinez《Optimizing Visibility in Generative Engines: A Critical Survey of Generative Engine Optimization (2023–2026)》（v1 2026-07-15）第 3.3 节：「First, an unpaired before–after comparison confounds the treatment with stochasticity in generation.」第 11.3 节：「When this is infeasible, difference-in-differences, interrupted time series, and synthetic controls can help, but parallel trends and placebo tests must be examined.」（this 指上文的随机分配）；「Queries, sources, and dates are clustered units.」「Testing all generations as though they were independent underestimates uncertainty.」纳入 45 项研究，截至 2026-07-14，作者承认检索记录不完整。 原文
同一综述摘要：「already-retrieved content can causally alter its citation or use, but no reviewed technique shows a stable, longitudinal, cross-platform causal effect on organic discoverability or downstream behavior」，限定于「Within this corpus」；对 Aggarwal 等 GEO 论文：「valid within their experimental setting but conditional on a source already being present in a fixed context; they establish neither organic discoverability nor durable traffic effects」。 原文
美国国家标准与技术研究院实验设计手册术语表：「Including replication allows an estimate of the random error independent of any lack of fit error.」通用原理，没规定 GEO 每题问几次。 原文
Profound，Jennifer Zou《Is once a day enough?》（2026-07-08）：「You can't measure your way past drift. The AI platforms update their models, prompts, and infrastructure constantly. That underlying movement sets a floor on precision that no amount of same-day repetition can beat.」 原文
SearchPilot，Will Critchlow《The math behind SearchPilot: how SEO A/B testing actually works》（2026-07-29）：「a variant group where the change is live, and a control group of pages that remain unchanged. Both groups run concurrently for all visitors.」「Algorithm updates, seasonal demand shifts, and changes in the competitive landscape all affect both groups equally.」 原文
Google Search Central《SEO Starter Guide》（2025-12-10 更新）：「Some changes might take effect in a few hours, others could take several months.」说的是 Google 搜索。 原文
Haritz Puerto 等《C-SEO Bench: Does Conversational SEO Work?》（NeurIPS 2025 数据集与基准赛道）第 4.2、6.1 节：同一问题、同一批候选文档、同一模型，只把一篇换成改写版，比引用名次，用配对的 Wilcoxon 检验；「In the experiments with unilateral adoption (i.e., only one player improving its document), we randomly select a document to apply a C-SEO method.」摘要：「most current C-SEO methods are not only largely ineffective but also frequently have a negative impact on document ranking」。英文、四个 API 模型，资料直接给模型，不经过真实搜索。 原文
母本自测（2026-09-28 至 09-29，上海，一台红米手机 App、一个账号，记忆和个性化已关，每遍新对话）：问豆包「上海有哪些做GEO的公司」，09-28 早先一次名单里没有做 AI 搜索优化的公司，当晚 22:19 那次列出 6 家；09-29 两遍都按「地理信息」理解。期间母本没改过页面，两次差异原因没查明。同一份记录里元宝两遍名单最稳。原始记录在母本的 测量/成绩单/2026-09-28-第1次.md。
DeepSeek 官方 API 文档：「The legacy names `deepseek-v4-flash` and `deepseek-v4-flash-vision-exp` are still accepted, but the corresponding models have been retired, their requests are served by the DeepSeek-V4.1-Flash model and billed at the Flash price.」只写 API 侧；网页版和 App 什么时候换版本，这页没写。 原文
中国新闻技术工作者联合会 T/CAPT 026—2026《生成式引擎优化（GEO）可信信息传播与信息生态治理规范》（2026-08-11 发布）第 8.3 条：「服务提供方开展效果评估时，应区分以下五类指标：内部风控指标、过程履约指标、效果观察指标、AI引用类指标和生态观察指标。」「服务提供方不应承诺或暗示“保证第一”“稳定前三”“永久收录”“必然被大模型引用”……等绝对化或误导性效果。」附录 E（资料性）：「具备条件且项目确有需要的，可开展多平台、多时间点、多轮独立会话以及多账号、多地域或多终端采样。」全文没有设对照组的要求。团体标准，自愿采用。
《中华人民共和国广告法》第二十八条：「（三）使用虚构、伪造或者无法验证的科研成果、统计资料、调查结果、文摘、引用语等信息作证明材料的；（四）虚构使用商品或者接受服务的效果的；」市场监管总局公布的 2021 年 4 月 29 日第二次修正文本。 原文
被核的说法：一篇博客（2025-09-03 发布）：「某医疗平台通过A/B测试发现，结构化数据标记可使内容在AI生成答案中的引用率提升37%」。无出处、无平台、无分母。 原文
被核的说法：母本 2026-09-28 测 DeepSeek，它在一道题的回答里转述了国内服务商的案例数字：「某酒店 26 天推荐率 53%」「从 3% 升到 17%」「引用率 4.31 倍」。回答里没展示对照，所引原文没逐一打开。
大家也这样问
- 官网改完，AI 提到我们的次数多了，怎么知道是改动的功劳？
- 服务商说优化完引用率涨了，怎么判断是不是真的？
- 豆包这周答的跟上周不一样，是我们改的页面起作用了吗？