这条在:GEO 图书馆 · 衡量

同一个问题要测几次才算数?

先说答案

截至 2026 年 9 月 28 日,母本查到的公开资料里,没有公认的「同一个问题要问几次,才能确定品牌在 AI 回答里的出现率」。

能算清的是:问 3 次出现 2 次,按 NIST 统计手册里的 Wilson 95% 区间,真实出现率大约在 21% 到 94% 之间,只够说「出现过」,不够说「稳定出现」。

先说为什么要问不止一次

AI 的回答每次都可能不一样。DeepSeek 的用户协议写,输出「存在随机性并且无法保证唯一性」,同样的内容也可能生成不同结果。Anthropic 的接口文档里有一句:把随机程度(temperature)调到 0,结果也「will not be fully deterministic」;文档同时写明,较新的模型已经不让设置这个参数。这是接口说明,不是聊天产品的承诺。开了联网搜索还多一层:OpenAI 说 ChatGPT 搜索有时会找第三方搜索服务商,通常把你的问题改写成一条或多条查询发过去。中间多了这些步骤,结果怎么变,它没细说。

我们自己也见过。2026 年 9 月 27 日夜,我们用 OpenRouter 的接口调 GPT-6 Astra 和 Claude Sonnet 5,各问了 42 道点名题(32 道中文「某某公司是做什么的」,10 道英文「What does X do?」),每道问三轮。问句里已经点了名,这组数看的是「搜不搜」:三轮里有时去搜、有时不搜的,GPT-6 Astra 有 5 道,Claude Sonnet 5 有 3 道。不点名的题,名单也会变:问「全球最好的办公室室内设计公司有哪些」,GPT-6 Astra 三轮给了 8 家、9 家、7 家,名单不完全一样。这是接口,不等于手机 App 里看到的。

所以就这一晚、这两个模型看,问一次看到你,不能说明你总在名单里;问一次没看到,也不能说明你不在。

问几次,误差有多大

把每次回答当成一次抽样:你出现了,记一次「中」。问得少,从「中了几次」推回真实出现率,范围就会很宽。下面是按美国国家标准与技术研究院(NIST)统计手册里的一种算法(Wilson 区间)算的。手册收它的理由之一,是下限不会算出负数,手册称最常用的那个公式做不到这一点;一篇 2001 年的统计学论文建议小样本用它或另一种叫 Jeffreys 的区间。

每一行是 95% 置信区间:这套算法反复用,大约每 20 次有 19 次能罩住真实出现率。问的次数很少时,这个比例本身也不稳。

问了几次 出现几次 真实出现率大约在
3 1 6% 到 79%
3 2 21% 到 94%
3 3 44% 到 100%
5 3 23% 到 88%
10 3 11% 到 60%
10 6 31% 到 83%
20 12 39% 到 78%
100 60 50% 到 69%

几个能直接用的结论:

  • 问 3 次出现 2 次,只够说「出现过」。真实出现率可能只有两成,也可能九成多。换成更保守的算法(按二项分布的精确区间),范围大约是 9% 到 99%。
  • 10 次里中 6 次,和 10 次里中 3 次,两个范围叠在大约 31% 到 60%。单靠 10 次,分不清稳定的六成和偶尔的三成出头。
  • 想把范围收到正负 10 个百分点左右,出现率在一半上下时,大约要问 100 次。

这张表有个前提:每次回答互相独立、这段时间里出现率不变。现实里不一定成立:同一道题连着问,结果可能彼此相关;隔几天问,模型和搜索结果可能已经变了。一家卖 GEO(AI 搜索优化)监测的公司在自己的误差表下面也注明了,多次采样「并非独立样本,所以真实误差比表里更大」。

研究和行业给的次数

三篇预印本给的说法并不一样。

  • 圣加仑大学的一篇(第一作者脚注写明与一家 AI 可见度公司 Aurora Intelligence 有关联)在自己测的 4 个 AI 引擎上建议:看品牌出现,每条问题每天至少问 7 次;按它自己的算法,这时 95% 区间仍大约有正负 16 个百分点。看引用来源至少 8 次。它还测到,24 小时内有引用的那些次,引用来源平均只有 32% 到 43% 重合。
  • 另一篇(作者任职 AI 可见度公司 Rankfor.AI)在自己的数据上给过 5 次、10 次、15 次三档。它的摘要说,这三档固定次数不能原样搬到别的数据上,要先做小样本试点再算;它拿来对照的是政治倾向测验和基准测试,不是品牌推荐。
  • 还有一篇(作者任职 IQRush,2026 年 7 月提交、8 月修订)测的是引用来源的排名,不是品牌出现率。它在 Gemini、SearchGPT、Perplexity 的 30 个组合里得出:没有一个固定的采集次数,能跨这些情境都说得通。

这三篇都是预印本,没见录用。

卖受众研究工具的 SparkToro,2026 年 1 月做过一项研究:600 名志愿者、12 条提示词、共 2961 次。作者把「一条提示词要跑几次才算有统计意义」列成还没回答的问题。他愿意认的指标,是几十到几百条提示词、每条多跑几次之后的出现百分比;想看清一份推荐名单,同一句他写的是通常至少问 60 到 100 次。志愿者用的是各自的默认设置,地区、设备和历史记录都没控制,名单波动里也混着个性化。

中文圈流传的「10 次里 6 次」,能找到有人这么说,找不到统计依据。我们找到最接近的原话,是一家 GEO 服务商在博客园写的团队标准:同一个问题跑 10 次,「频次稳定在 60% 以上才算真稳定」。文中没有统计推导。用 10 次来核对这个六成门槛,按上面的表,10 次中 6 次对应的范围是 31% 到 83%,门槛两侧分不清。

我们自己怎么测

我们的周测规程写的是:命中的问题当天开新对话再问两遍,「三次两次才算」。按上面的表,三次里两次只能说明出现过,不能写成出现率。周记用这条规矩的地方,就写「出现过」。

要估计「这一句」的出现率,得把这一句的次数加上去;要估计「一组问题里我出现在多少比例的回答里」,得把问题的条数加上去。这是两件事。

这些结论别往外推

  • 一天问一次够不够,看你要的是哪个数。卖 AI 可见度工具的 Profound 在 753 条问题、7 个平台上比较过,一天每条问 1 次和问 10 次,14 天汇总的可见度相差约 2 个百分点(78.7% 对 80.4%)。那是一大组问题加总的结果,可见度在八成上下。按 Profound 自己的技术文档,它的可见度分母是「提到了任何品牌的回答」,不是全部回答。它回答不了「这一句我出现的比例是多少」。这是一家公司为自家一天一次的做法作的说明。
  • 表里的范围是理想情况。每次回答并不真的互相独立,平台也一直在变,真实的不确定只会更大。
  • 我们的三轮记录只有一晚、两个模型、接口版。
出处 13 条,A 级 5 条、B 级 7 条、C 级 1 条 · 展开全部
  1. NIST/SEMATECH《e-Handbook of Statistical Methods》7.2.4.1:比例的 Wilson 置信区间「introduced by Wilson (1927), recommended by Brown, Cai and DasGupta (2001) and Agresti and Coull (1998)」;样本很小时可用按二项分布算的精确区间。本文各档区间是母本按手册公式计算的,用手册例题验过。 原文

    政府机构手册 · 美国国家标准与技术研究院 · A 级 · 核对于 2026-09-28

  2. Brown、Cai、DasGupta《Interval Estimation for a Binomial Proportion》,Statistical Science 2001:「we recommend the Wilson interval or the equal-tailed Jeffreys prior interval for small n」。 原文

    期刊论文 · 学术研究 · A 级 · 核对于 2026-09-28

  3. Anthropic Claude API 文档(temperature 参数):「Note that even with `temperature` of `0.0`, the results will not be fully deterministic.」文档同时写明较新的模型已不接受设置这个参数。这是接口说明。 原文

    平台官方文档 · 平台讲自己 · A 级 · 核对于 2026-09-28

  4. 《DeepSeek 用户协议》(2025-09-05 更新):「本服务输出存在随机性并且无法保证唯一性」,同样的内容可能生成不同结果。 原文

    平台官方文档 · 平台自己的条款 · A 级 · 核对于 2026-09-28

  5. OpenAI 帮助中心《Searching the web with ChatGPT》:ChatGPT 搜索常把问题改写成一条或多条查询发给第三方搜索服务商;搜索结果「Placement is not guaranteed」,说的是排序位置不保证。 原文

    平台官方文档 · 平台讲自己 · A 级 · 核对于 2026-09-28

  6. SparkToro(卖受众研究工具)Rand Fishkin,2026-01-27:600 名志愿者、12 条提示词、共 2961 次,志愿者用各自默认设置;它把「How many times do you need to run a prompt to have statistically sound answers」列为没回答的问题,认为几十到几百条提示词多次运行后的出现百分比是合理指标。 原文

    厂商研究 · 卖受众研究工具,合作者在 AI 追踪公司 · B 级 · 核对于 2026-09-28

  7. Schulte、Bleeker、Kaufmann(圣加仑大学)arXiv 2604.07585,预印本,2026-04-08:「Practitioners should therefore use at least 7 runs per prompt per day for brand visibility monitoring, and at least 8 runs when source-level coverage matters.」同一天重复运行,引用来源重合平均 32%–43%。 原文

    预印本 · 第一作者脚注写与 Aurora Intelligence 有关联 · B 级 · 核对于 2026-09-28

  8. Żatuchin(爱沙尼亚创业应用科学大学,写明与 Rankfor.AI 有关联)arXiv 2609.04047,预印本,2026-09-03:给出探索 5 次、确认 10 次、严谨 15 次三档;摘要说「the fixed tiers do not transfer」,要先跑小样本试点再算;外部对照材料是政治倾向测验和基准测试。 原文

    预印本 · 作者与 Rankfor.AI 有关联 · B 级 · 核对于 2026-09-28

  9. Sielinski arXiv 2607.10341,预印本,2026-07-11 提交、08-26 修订,测的是 Gemini、SearchGPT、Perplexity 引用来源排名:「no fixed collection budget can be justified across contexts」,要看数据本身是否收敛。 原文

    预印本 · 作者任职 IQRush · B 级 · 核对于 2026-09-28

  10. Profound(卖 AI 可见度工具)Jennifer Zou,2026-07-08:753 条问题、7 个美国平台,一天每条问 1 次对问 10 次,「Once a day already lands within about 2 percentage points of a 10×-a-day reading for visibility.」 原文

    厂商研究 · 为自家一天一次的产品背书 · B 级 · 核对于 2026-09-28

  11. 被核对象:博客园上的一篇 GEO 文章,2026-05-07:「我们团队做内容评估时的最低标准是同一 query 跑 10 次……频次稳定在 60% 以上才算真稳定,40% 以下基本就是"偶发命中"」。 原文

    被核对象 · 作者从事 GEO 相关业务 · C 级 · 核对于 2026-09-28

  12. 一家国内 GEO 监测公司的文章,2026-08-05:表下自注「同一条问题的多次采样彼此相关,并非独立样本,所以真实误差比表里更大」。 原文

    厂商研究 · 作者从事 GEO 相关业务 · B 级 · 核对于 2026-09-28

  13. 母本自测(2026-09-27 夜):OpenRouter 接口,同一晚三轮问 42 道点名题(32 道中文、10 道英文),三轮「有没有搜索记录」一致的,GPT-6 Astra 37 道、Claude Sonnet 5 39 道。接口版。 原文

    母本自测 · 母本做品牌 AI 搜索优化 · B 级 · 核对于 2026-09-28