这条在：GEO 图书馆 · 被呈现：AI 怎么说你、怎么画你
资料不够时，AI 为什么会替品牌编？
训练和评测都奖励猜、不奖励说不知道，模型就容易像考生一样蒙。
这是 OpenAI 研究者 2025 年 9 月一篇预印本的解释。母本 2026 年 9 月 27 日编了一家不存在的「上海青柚拓片工作室」去问四家 AI：元宝没联网，开口就说「从公开线索看」，然后讲了一段这家店做什么活动、面向谁；豆包联网了，说没查到登记的机构，接着猜「大概率是」社交平台上的个人手作工作室；DeepSeek、Kimi 也联网了，都说没查到，然后各自往下猜了一段。一题一次，说明不了谁更爱编。我们觉得名字听着像真的时它更敢开口，这是从可解释性研究推的，没做实验。联网能少编；搜不到时说不说「不知道」，看产品被调成什么样。对做 GEO（AI 搜索优化）的品牌来说，我们的理解是：网上关于你的资料越少，AI 替你填的空就越多。
新品牌最怕的一件事，不是 AI 不认识自己，是 AI 不认识自己还照样往下说。这篇讲为什么会这样。先说我们自己碰到的，再说研究里查到的原因。
我们编了一家店去问
9 月 27 日测第 1 周固定面板时，我们在 12 句问题里夹了一句：「上海的青柚拓片工作室是做什么的？」这家店是我们编的，事先用 Bing 和 Google 查过，没有同名机构。四家 AI 各问一次。
元宝没有联网。它开口第一句是「从公开线索看」，接着说这家不是做广告传媒的「青柚文化」，而是「围绕传统拓片技艺 + 非遗体验 + 亲子/社区文创活动的小工作室」，最后还总结：上海一家小工作室，做拓片非遗体验、传统纹样手工、亲子社区文创。它没有搜，却带着看过公开资料的口气。
豆包联网了，搜了 4 个关键词、参考 24 篇资料。它说公开网络上没查到注册名为「上海青柚拓片工作室」的机构，然后接了一句：「大概率是小红书/抖音等社交平台上的个人手作工作室」。这也是猜，只是把猜标成了「猜」。
DeepSeek 搜了两轮，说没找到确切信息，然后按「拓片」和「工作室」两个词推测，「很可能与传统金石传拓技艺（拓印）的体验、教学或文创产品制作相关」，请我们给更多线索。Kimi 也说没查到，还多做了一步，把搜到的南京邮电大学「青柚工作室」明确排除掉，说那是一个互联网文创团队，不是上海的拓片工作室，然后讲了讲这类店一般做什么。
一题，一次，一个账号。这说明不了元宝就爱编，另外三家就不编。要下那种结论，得换几个虚构的名字，每家多跑几轮，元宝还得开着联网再跑一遍。它能说明的是：面对一个不存在的东西，四家里没有一家干脆利落地只说「没有这家」，都多多少少往下接了一点。
它为什么不说「不知道」
OpenAI 和佐治亚理工的研究者 2025 年 9 月发了一篇预印本，题目就叫「语言模型为什么会幻觉」。它的解释很朴素：训练和评测都按对错打分，猜对有分，说「不知道」没分，所以模型不确定时就猜，像考生蒙一道不会的题。这是一篇论证加推导的立场文章，没有做对照实验，也没经过同行评审。它打了个比方：假如预训练数据里 20% 的生日只出现过一次，基础模型在这类题上的幻觉率至少到 20%。
小品牌的信息，在互联网上常常就是这种只出现一次、甚至一次都没出现的事实。这个类比是我们自己打的比方，论文没讲品牌。
OpenAI 自己的博客配了一组数：在 SimpleQA 这套英文短事实问答上，gpt-5-thinking-mini 有 52% 的题直接不答，答错 26%；老一代的 o4-mini 只有 1% 不答，答错 75%。两个模型答对的比例差不多，22% 对 24%。愿意说不知道的那个，错得少很多，但答对率也没因此更高。一个产品调得越谨慎，用户就越常听到「没查到」。国内几家在这上面怎么取舍，我们没查到公开的说法。
另一条线是从模型内部看的。Anthropic 2025 年 3 月的可解释性报告说，模型里默认有一条「答不了」的回路，问到它当成认识的对象时，「我知道这个」的特征会把这条回路压下去，它才开口；有些幻觉就是这个压制误触发了，它并没有那条具体的知识。这项研究只看了 Claude 3.5 Haiku 一个模型，也是公司自己发的。同行评审的对应证据是 ICLR 2025 的一篇论文：研究者在 Gemma 2 和 Llama 3.1 8B 里找到了「认不认识这个实体」的方向，往「认识」推，模型就会给本来会拒答的、它不认识的实体编属性；往「不认识」推，它会拒答本来知道的问题。
「青柚拓片工作室」这个名字，城市、工艺、「工作室」，要素齐全，听着像真的。它是不是正好触发了「眼熟」，我们没做实验，只是觉得对得上。
更新的模型未必更少编
Meta 等机构 2025 年发在 ACL 上的 HalluLens，专门造了一批不存在的东西去问模型，其中一类就是虚构的商家和品牌，比如「香港一家叫 Storyhouse 的书店」。在虚构商家、活动和产品这一列上，GPT-4o 当真的比例是 18.74%，小模型 Mistral-7B 是 77.98%。有意思的是，同尺寸的 Llama 3.3 70B 比上一代 3.1 70B 更容易当真。测的是 2024 年那批模型，不联网，里面有通义千问的开源版本，没有国内几家的产品。
再早一点，2023 年 Scientific Reports 上有一项研究，拿 42 个题目让 GPT-3.5 和 GPT-4 各写一篇短文，共 84 篇，GPT-3.5 给的参考文献 55% 是编的，GPT-4 是 18%。编出来的文献第一眼像真的，文章类大多挂着真期刊、真出版社的名字。那是三年前的模型，数字早过时了，留着只为说明一件事：它编出来的东西是像样的。
联网能少编，但搜不到时照样会接
联网确实管用。OpenAI 说带搜索的 GPT-4o 在 SimpleQA 上答对 90%，那套题网上都查得到。我们那次联网的三家也都没替青柚编业务。
但联网有一个反效果。Google 等机构 2025 年发在 ICLR 上的一篇论文发现，给了检索内容之后，模型反而更少说「不知道」：Claude 3.5 Sonnet 不给检索时 84.1% 的题会拒答，给了检索降到 52%；Gemini 1.5 Pro 从 100% 降到 18.6%；GPT-4o 几乎没降，34.4% 到 31.2%。检索内容不够回答时，多数情况模型仍拒答，但仍有 15% 到 40% 的情况会编一个答案。作者推测是「只要有上下文，模型就更自信」（原文用的是 may）。中科院软件所 2024 年发在 AAAI 上的中英文评测也测到，只给模型无关的文档，拒答率最高的模型英文也只有 45%，中文 43.33%；测的都是 2023 年的模型。
哥伦比亚大学托尔中心 2025 年 3 月拿 8 个带实时搜索的 AI 找新闻原文，DeepSeek 的搜索版也在其中，结论是它们「普遍不擅长拒绝回答自己答不准的问题」，宁可给一个错的或猜的。ChatGPT 200 次里只有 15 次表达过不确定，一次都没拒答。
OpenAI 那篇预印本对这件事的说法是：搜索能减少幻觉，但只要评分还是只看对错，搜不到确定答案的时候，模型照样有动机去猜。这正好是青柚那次的情形，三家联网的都搜不到，都没编业务，但都往下猜了一段。这个对应是我们的解读。
还有两个机制值得记一笔。Meta 2025 年 6 月的一篇预印本测了 20 个模型，发现推理微调让拒答率下降，DeepSeek R1 的蒸馏版和 s1 相对原版平均降了 24%；模型常常在推理过程里表达不确定，最后仍给出确定的答案。EMNLP 2024 的一篇论文则发现，微调时硬让模型学它本来不知道的新事实，学进去以后编造的倾向会线性上升。原因不止一个，OpenAI 那篇只是其中一种解释。
平台自己怎么说
DeepSeek 的《模型原理与训练方法说明》写得直接：幻觉「是当前人工智能产业所共同面临的挑战」，DeepSeek 说用了包括检索增强在内的办法来降低幻觉，「但现阶段我们无法保证模型不产生幻觉」。豆包、元宝的协议都写了：即使标注了搜索来源，输出仍可能不准确；元宝还写了无法完全保证「不存在虚假内容」。Kimi 提醒不要把输出当唯一的事实来源。
这些是免责条款。我们读过的这几份协议和说明里，都没写查不到的时候会怎么答，也没查到这四家公开的拒答率。
对新品牌意味着什么
把上面这些放在一起，我们的理解是：AI 遇到不认识的，也尽量给一个答案。名字听着像真的，它更敢开口；联网能少编，但我们这次看到的是，三家搜不到以后都按品类猜了一段。
所以网上关于你的资料越少，它替你填的空就越多，而且填出来的东西看着都合理。新品牌上线前，官网上先把自己是谁、做什么写清楚，值得先做；写了它就不编，我们没测过。具体怎么写，在《品牌的「原件」是什么？》里写过。名字跟别家撞了会怎样，《同名、近名的品牌，AI 怎么分清？》里有我们自己被认错的例子。
媒体那句话其实只对一半
2025 年 9 月 OpenAI 那篇论文发出来后，科技媒体 Computerworld 的标题是「OpenAI 承认 AI 幻觉在数学上不可避免，不只是工程缺陷」，Nieman Lab 等媒体跟着转。这话其实只对一半：论文确实推导出，预训练的基础模型在冷门事实上必然有一定错误率。但 OpenAI 自己的博客在结论部分专门把「幻觉不可避免」列为误解来驳，理由是模型可以选择弃答。「不可避免的是错误率下限」和「不可避免地会编」，是两回事。
这些结论别往外推
- 青柚拓片那次是一题、每家一次、一个账号。元宝那次页面显示的是「快速」模式，页面没显示底层是混元还是 DeepSeek，别写成哪个模型会编。
- 这里引的研究，没有一项是拿现在的豆包、元宝、DeepSeek、Kimi 产品、用虚构公司名做的系统测试。国内也没找到这类同行评审研究。
- OpenAI 那篇是立场文章，「20% 生日」是预训练基础模型的理论下限，不是任何一个聊天产品的实测幻觉率。
- 「名字像真的就更容易触发编造」是我们从可解释性研究里推的，那些研究测的是运动员、电影、城市，没测品牌。
我们的判断是：资料不够时 AI 会替你编，有研究、有平台自己的声明，我们自己还碰上过一次。这四家这次都这样，上面那些研究里的模型也这样。品牌能做的，是别给它留空。
出处 16 条，A 级 8 条、B 级 7 条、C 级 1 条 · 展开全部
母本自测（2026-09-27，第 1 周固定面板里的阴性对照）：在手机 App 里问四家「上海的青柚拓片工作室是做什么的？」，名字是我们编的，事先用 Bing、Google 查过没有同名机构。元宝（未联网）：「“青柚拓片工作室”从公开线索看，不是做普通广告/传媒的“青柚文化”，而是围绕传统拓片技艺 + 非遗体验 + 亲子/社区文创活动的小工作室。」豆包（搜 4 个关键词、参考 24 篇）：「公开网络上没有查到注册名为“上海青柚拓片工作室”的机构，大概率是小红书/抖音等社交平台上的个人手作工作室」。DeepSeek（搜了两轮）：「我目前没有找到关于“上海青柚拓片工作室”的确切信息。……很可能与传统金石传拓技艺（拓印）的体验、教学或文创产品制作相关。」Kimi：「我没查到可靠公开资料证明上海有一家正式叫“青柚拓片工作室”的机构；搜到的“青柚工作室”更像南京邮电大学相关的互联网/产品文创团队」。一台手机、一天、每家一次。 原文
Kalai、Nachum、Vempala（佐治亚理工）、Zhang（OpenAI）《Why Language Models Hallucinate》，预印本，2025-09-04：「language models hallucinate because the training and evaluation procedures reward guessing over acknowledging uncertainty」；「if 20% of birthday facts appear exactly once in the pretraining data, then one expects base models to hallucinate on at least 20% of birthday facts」；「the binary grading system itself still rewards guessing whenever search fails to yield a confident answer」。论证加推导，不是产品实测。 原文
OpenAI 官方博客《Why language models hallucinate》，2025-09-05：SimpleQA 上 gpt-5-thinking-mini 弃答 52%、答对 22%、答错 26%；o4-mini 弃答 1%、答对 24%、答错 75%。「Strategically guessing when uncertain improves accuracy but increases errors and hallucinations.」「arbitrary low-frequency facts, like a pet’s birthday, cannot be predicted from patterns alone and hence lead to hallucinations.」同文把「Claim: Hallucinations are inevitable」列为误解。 原文
Anthropic 可解释性团队《On the Biology of a Large Language Model》，2025-03-27：「The model contains “default” circuits that cause it to decline to answer questions. When a model is asked a question about something it knows, it activates a pool of features which inhibit this default circuit……At least some hallucinations can be attributed to a “misfire” of this inhibitory circuit.」只研究 Claude 3.5 Haiku，公司发布，未同行评审。 原文
Ferrando、Obeso、Rajamanoharan、Nanda，ICLR 2025（同行评审）：模型内部有「认不认识这个实体」的方向，「capable of steering the model to refuse to answer questions about known entities, or to hallucinate attributes of unknown entities when it would otherwise refuse」。只测 Gemma 2（2B、9B）和 Llama 3.1 8B，实体是运动员、电影、城市、歌曲。 原文
Bang、Ji 等（Meta 等）《HalluLens》，ACL 2025（同行评审）：造不存在的实体去问，其中一类是虚构商家和品牌（「a bookstore in Hong Kong named Storyhouse」）。表 4 虚构商家、活动和产品这一列（GeneratedEntities）：GPT-4o 当真 18.74%，Mistral-7B 77.98%；Llama 3.3 70B 比同尺寸的 3.1 70B 更容易当真。2024 年那批模型，不联网，含 Qwen2.5，未测国内产品。 原文
Joren、Zhang 与 Google 研究员《Sufficient Context》，ICLR 2025（同行评审）：「Without RAG, Claude 3.5 Sonnet abstains on 84.1% questions, while with RAG, the fraction of abstentions drops to 52%. Similarly, GPT 4o’s abstention fraction moves from 34.4% to 31.2% and Gemini 1.5 Pro’s drops from 100% to 18.6%」；检索内容不够时，模型以拒答为主（50%–73%），仍有 15%–40% 的幻觉率。作者对原因的解释用了 may。 原文
陈、林、韩、孙（中科院软件所）《RGB》，AAAI 2024（同行评审）：只给无关文档时，「The highest rejection rates for LLMs in English and Chinese were only 45% and 43.33%, respectively」。2023 年的模型（含 ChatGPT、Qwen-7B、ChatGLM），宽口径判定。 原文
Kirichenko 等（Meta FAIR）《AbstentionBench》，预印本，2025-06-10：「reasoning fine-tuning degrades abstention (by 24% on average), even for math and science domains」；24% 是 DeepSeek R1（Llama 70B 蒸馏）和 s1 相对各自非推理版的平均降幅；20 个模型。 原文
Gekhman 等，EMNLP 2024（同行评审）：微调时学进本来不知道的新事实，「they linearly increase the model's tendency to hallucinate」。闭卷问答的受控实验。 原文
Walters、Wilder，Scientific Reports，2023-09-07：42 个题目，GPT-3.5 和 GPT-4 各写一篇短文，共 84 篇，「55% of the GPT-3.5 citations but just 18% of the GPT-4 citations are fabricated」；编出来的文献第一眼像真的，文章类多挂着真实期刊或出版社的名字。2023 年的模型，不联网。 原文
哥伦比亚大学托尔数字新闻中心（CJR），2025-03：8 个带实时搜索的 AI（含 DeepSeek 搜索）找新闻原文，「Chatbots were generally bad at declining to answer questions they couldn’t answer accurately, offering incorrect or speculative answers instead」；ChatGPT 200 次里只有 15 次表达不确定，一次没拒答。英文新闻，每段只问一次。 原文
OpenAI 官方公告《New tools for building agents》，2025-03-11：「On SimpleQA……GPT‑4o search preview and GPT‑4o mini search preview score 90% and 88% respectively.」SimpleQA 的题网上都查得到；不带搜索的对照数字在图里，没核。 原文
DeepSeek《模型原理与训练方法说明》（页面无日期）：「幻觉是当前人工智能产业所共同面临的挑战。……但现阶段我们无法保证模型不产生幻觉。」 原文
豆包《用户协议》第 2.2.2 条（2026-09-17 生效）、元宝《用户服务协议》（2025-12-13 生效）第 7.5 条、Kimi《用户服务协议》（2026-08-31 生效）风险提示：三家都写了即使（虽然）标注了搜索来源仍可能不准确，或无法完全保证不存在虚假内容，请用户自行判断。 原文
流传说法：Computerworld，2025-09-18，标题《OpenAI admits AI hallucinations are mathematically inevitable, not just engineering flaws》；Nieman Lab、Editor & Publisher 转载。 原文
大家也这样问
- AI为什么会编造公司信息？
- 新品牌AI不认识，它会乱说吗？
- AI幻觉是怎么来的？