这条在:GEO 图书馆 · 机制:AI 怎么找、怎么挑、怎么写
一个不存在的产品,为什么能被 AI 推荐?(投毒原理)
截至 2026 年 10 月 1 日,3·15 晚会演示的那类 GEO(AI 搜索优化)投毒,污染的是 AI 联网时去搜的网页,不是模型本身:AI 先检索、再照着检索到的资料写,假内容被搜到又被采信,就可能写进回答。
PoisonedRAG 论文发现,往 AI 读的资料库里给每个问题掺少量定向写的假文本,多数时候就能带偏答案;但这个实验测的是事实问答,攻击者能直接往资料库里加文本,不能换算成发几篇软文就能被 AI 推荐的概率。
先说 3·15 晚会上那段演示。一位业内人士虚构了一款叫 Apollo-9 的智能手环,用软件生成软文,在自己的自媒体账号上发了 2 篇。两个小时后,他去问某款 AI「Apollo-9智能手环怎么样」,AI 就介绍起来了,连他编的「量子纠缠传感」「黑洞级续航」都照搬。记者一查,AI 参考的正是上午刚发的那篇虚构文章。后来他又发了 11 篇,再问「智能健康手环推荐」,有两个 AI 大模型把这款手环排在了前面。
不过这只是一次演示,文字稿没交代问了几家、问了几次、有没有失败的。节目本身我们在另一篇里讲过,这里只讲这类 GEO(AI 搜索优化)投毒为什么能成、官方怎么说、品牌方该怎么看。
AI 是先搜,再照着写
开了联网的 AI 怎么答题,DeepSeek 的用户协议写得很直白:开启联网搜索后,产品会「先检索互联网的公开信息,并根据检索的公开信息生成内容」。这套做法叫检索增强生成,简称 RAG,这一篇专门讲过。
所以 3·15 那种投毒,动的其实不是模型,而是它去搜的网页。新华每日电讯采访姚金鑫时,他说得很形象:「不是『大脑』被改写了,而是它参考的资料被污染了。」
搜得到,还得被照着说
把这件事讲得最清楚的,是一篇叫 PoisonedRAG 的论文,同行评审过,收在 USENIX Security 2025 的论文集里。作者把投毒拆成两个条件:有人问这个问题时,假内容要能被搜出来;模型读到以后,还得照着说。
他们在几百万段文本的知识库里,给每个目标问题塞 5 条假文本,攻击成功率可达 90%。听着像往海里滴了几滴墨水,可系统默认每次只读排在最前面的 5 段,塞进去的条数正好跟它一次读的段数一样。论文观察到,读到的 5 段里假文本超过 3 条、占了多数时,成功率就很高。也就是说,在这个实验里,要看的不光是塞了多少,还得看 AI 读的那几段里假的占几成。论文试的几种防御,也都没能完全挡住。
可这个实验有个最要紧的限制:它测的是有唯一事实答案的问答,比如「OpenAI 的 CEO 是谁」,而且攻击者能直接往知识库里加文本,不用先过搜索排名那一关。论文在威胁模型里倒是设想过让 AI 推荐商品时偏向某个品牌,可没有实测。所以它的百分比搬不到「推荐什么手环」上,更换算不成「发 5 篇稿就能被 AI 推荐」。搬到全网铺稿上,还得看稿子搜不搜得出来、模型采不采用。
拿 Apollo-9 对一下。一个不存在的产品,网上可靠的资料本来就少,我们推测假内容可能更容易影响回答。这是拿论文的框架往上套的,论文没测过虚构产品,节目也没公开完整的搜索结果,当时有没有别的资料跟它抢,其实判断不了。
有人直接测过假产品推荐
Nestaas 等人在 ICLR 2025 发过一篇论文,在 2024 年的 Bing Copilot 上设了一组相机比较,研究者自己做了一款虚构相机的网页,它被推荐的比例从 34.0% 升到了 59.4%。条件得说清楚:这些网页在普通搜索里排不上,是提问时让 Bing 直接去研究者的域名找的;网页里埋的是写给 AI 的指令,也就是提示注入,跟只靠假知识的 PoisonedRAG 不是一种做法。而且没加攻击时,这款假相机就已经有 34.0% 被推荐,「假产品被提到」和「被操控得更常推荐」是两件事。
官方怎么说
美国国家标准与技术研究院(NIST)2025 年 3 月出的报告,把「知识库投毒」列为生成式 AI 的一类攻击,点名的例子就是 PoisonedRAG,还写了攻击者可能借这类手段让联网的聊天机器人推荐欺诈产品。报告也承认,现有的缓解办法不能完全防住所有攻击手法。
国内这头,中央网信办 2026 年 4 月的「清朗」专项,把篡改训练语料、伪造权威数据、用 GEO 技术「恶意营销」都列为 AI 数据投毒,同一段还把引用信源缺乏交叉验证、未标注引用链接列成了要整治的问题。正常优化和投毒的界线,见这一篇。
Google 在给站长的指南里说,它的生成式 AI 功能同时靠核心排名系统和反垃圾系统,在网上刷出来的假提及没有看上去那么有用。按这个说法,在 Google 上,假网页得先排得上去,才进得了 AI 读的那几段。可这是平台自述,没给数据,没谈投毒难不难,也只管 Google 搜索。国内几家平台怎么挑网页,我们没找到哪家公开说过;3·15 演示里,自媒体上的稿两个小时就被当成了参考资料。
另一条路:改训练数据
说投毒不碰模型,只对 3·15 这一类成立。还有一类冲着训练数据去,最终改的是模型本身,只不过要等模型重新训练才生效。Anthropic 跟英国 AI 安全研究所等机构的预印本发现,训练数据里掺大约 250 篇恶意文档,就能给 6 亿到 130 亿参数的模型装上后门。可装的是「看到触发词就输出乱码」,不是推荐某个产品;Anthropic 自己也说,换成更大的模型、更复杂的行为还成不成立,不清楚。「250 篇就能毒倒任何 AI」那种标题,是说过头了。
「铺够量,AI 就会推荐你」?
节目里有服务商说,把「证据链」做足,AI 多方交叉以后就会把你放在第一位;还有从业者说能把客户排进任何平台的前三。这些是卖方自己的说法,节目没验证。倒是有一点值得记住:所谓多方印证,本身是造得出来的。
可从「会发生」到「大概率发生」,中间差得远。3·15 第一问点名的是一个本来不存在、网上资料很少的产品,第二问是宽泛的品类词,市面上本来就有真实的手环,两问哪个更难投毒,手头的材料比不出来。21 世纪经济报道 2026 年 3 月底测了 5 款大模型,1028 条参考链接里有 307 条被记者明确判为 GEO 投放内容,可样本里 57% 的广告主最终没被任何一款受测模型推荐(广告主总数没给)。进了参考资料,不等于进了推荐。论文里的 5 条是冲着一个问题专门写的,跟批量生成的软文不能直接比,也不能拿来估算要发多少篇;论文自己也没做到 100%。
回头看自己的品牌
2024 年 5 月,Google 搜索副总裁 Elizabeth Reid 解释 AI 概览为什么会回答「每天该吃几块石头」,用了个词叫「数据空洞」,就是某个话题的高质量内容很少。我们的理解是,这个道理放到品牌上也说得通:你的品牌词底下,可靠的资料要是本来就少,别人的内容就更容易占上那几个位置。AI 资料不够时会怎么替品牌编,这一篇讲过。
看到一条可疑的推荐,新华网思客请北大光华张颖婕分析的那篇文章里给了两个办法:点开 AI 引用的来源,看是权威机构、主流媒体,还是带推广色彩的网站、自媒体、测评软文;再换几个 AI 问问,用搜索引擎查查用户评价、新闻和投诉对不对得上。OpenAI 的帮助页也提醒,ChatGPT 搜索给的结果和引用可能不完整、过时或错误。交叉验证也有边界:几家 AI 要是搜到的都是同一批被铺满的网页,可能一起被带偏,这是我们的推断。更细的识别办法在这一篇。
结论
- 3·15 晚会演示的那类 GEO(AI 搜索优化)投毒,污染的是 AI 联网时检索的网页,不是模型本身;DeepSeek 用户协议写明,开启联网搜索后产品先检索互联网公开信息,再根据检索到的信息生成内容。
- PoisonedRAG 论文(USENIX Security 2025)在几百万段文本的知识库里给每个目标问题注入 5 条假文本,攻击成功率可达 90%;这个实验测的是有唯一事实答案的问答,攻击者能直接往知识库里加文本,论文没有实测商品推荐。
- PoisonedRAG 论文观察到,系统默认每次只读 5 段,读到的假文本超过 3 条、占多数时成功率很高。
- Nestaas 等人的论文(ICLR 2025)在研究者设定的 2024 年 Bing Copilot 相机比较里,靠在网页中做提示注入,让虚构相机的被推荐比例从 34.0% 升到 59.4%;实验让 Bing 直接去研究者的域名找,加攻击内容之前这款相机已有 34.0% 被推荐。
- 母本的推测是,不存在的产品在网上可靠资料很少,假内容可能更容易影响 AI 的回答;这一点没有实验直接测过,3·15 演示也没有公开完整的检索结果。
- 3·15 晚会的演示说明这种投毒会发生;演示没交代问了几家、几次、失败几次,不能说明各家 AI 被投毒的概率。
- AI 投毒的另一类改的是训练数据,要等模型重新训练才生效;Anthropic 等人的预印本测的是一种「看到触发词就输出乱码」的后门,不是商品推荐。
这些结论别往外推
- PoisonedRAG 的数字都来自封闭问答、直接往知识库注入的实验,没经过搜索排名这一关。
- Nestaas 那组实验是 2024 年的英文产品,研究者控制了网页、用了提示注入、限定了候选,不能当成 2026 年任意平台、任意提问下的比例。
- 21 世纪经济报道那次是记者对样本的观察,广告主总数没给,不是各平台的投毒成功率。
- Google 说生成式 AI 功能依赖反垃圾系统,只管 Google 搜索;国内平台怎么挑网页,我们没找到公开说明。
- 250 篇只针对一种很窄的后门。
- 「不存在的产品可能更容易被投毒」「交叉验证可能一起被带偏」「品牌词下资料少就更容易被别人占上」,都是我们的推论,没有实验直接测过。
核对记录
- 几处没定论的说法,正文都没用;论文一律引会议版 PDF 和 arXiv 摘要页。
- 2026-10-01 重开 PoisonedRAG 会议版 PDF、Nestaas 会议版 PDF 与全文、21 世纪经济报道原文和 Google 生成式 AI 指南,正文用到的数字和原句都核过。
出处 18 条,A 级 11 条、B 级 7 条 · 展开全部
央视财经 3·15 文字稿(中新网转载自央视财经微信公众号),2026-03-16 00:08:「两个小时后,业内人士在某款AI大模型中询问:"Apollo-9智能手环怎么样"。AI模型就直接介绍了起来:最大亮点是健康监测功能,还直接照搬了业内人士虚构的"量子纠缠传感""黑洞级续航"等虚假宣传话术。最终结论称,该手环适合中老年用户与健康养生爱好者。……随后,业内人士在AI大模型平台展开询问:"智能健康手环推荐",就有两个AI大模型推荐了这款业内人士虚构的智能手环,而且排名靠前。」单次演示,没说问了几家、几次、失败几次。 原文
同一调查的记者文字稿(荔枝新闻刊载,署名央视财经),2026-03-15:「查询发现,这款AI大模型所参考的资料,正是上午刚发布在业内人士自媒体账号上的那篇虚构文章。」未交代 AI 平台名称、提问次数,也没公开完整检索结果。 原文
《DeepSeek 用户协议》第 1.2 条(更新、生效日期 2025-09-05):「开启该功能后,产品将按照输入信息和指令先检索互联网的公开信息,并根据检索的公开信息生成内容。」只写顺序,不披露检索合作方和排序规则。 原文
新华每日电讯采访(新华网 2026-03-20 转载)。姚金鑫(IEEE 高级会员、乌镇智库高级研究员、人工智能创业者):「不是'大脑'被改写了,而是它参考的资料被污染了。」何延哲(中国电子技术标准化研究院网安中心测评实验室副主任):「'投毒'式GEO不是零散偶发的信息失真,而是持续、批量的操控。面对这类异常模式,平台如果建立起预警和识别机制,并不是完全发现不了。」 原文
Zou、Geng、Wang、Jia《PoisonedRAG》摘要:「the knowledge database in a RAG system introduces a new and practical attack surface」;「PoisonedRAG could achieve a 90% attack success rate when injecting five malicious texts for each target question into a knowledge database with millions of texts」;评估的几种防御「insufficient」。会议版收录于第 34 届 USENIX Security Symposium(2025)。 原文
同一论文会议版第 1 节、第 5.1 节:「The retrieval condition means a malicious text can be retrieved for a target question. The generation condition means a malicious text can mislead an LLM to generate a target answer for a target question when the text is used as the context.」知识库 NQ 2,681,468、HotpotQA 5,233,329、MS-MARCO 8,841,823 段(texts 是切好的文本段,维基百科案例每段 100 词);黑盒设置、PaLM 2 下成功率 97%、99%、91%。威胁模型写了让模型在消费品推荐里偏向某个品牌(「a particular brand over others when asked for recommendations on consumer products」),投毒途径包括「post fake news or host malicious websites」,这些是设想的场景,没有实测。 原文
同一论文第 5.3.2 节:「ASR increases as N increases when N ≤ k」;「We suspect the reason is that most of the k (k = 5 by default) retrieved texts are clean ones, making the attack less effective …… when the number of malicious texts is larger than 3 (most of the k retrieved texts are malicious ones), the ASR is very high.」第 5.1 节对照组:「we view the crafted I as a malicious text, i.e., P = I」,每题同样注入 N 条;表 4 成功率 NQ 0.69、HotpotQA 1.0、MS-MARCO 0.57,「those malicious texts are relevant to the target question」;与提示注入的区别:「PoisonedRAG relies on malicious knowledge instead of instructions」。 原文
同一论文第 5.1、6.1、7、8 节:只测封闭式问题(「close-ended questions have specific, factual answers」),「PoisonedRAG does not reach a 100% ASR」;Self-RAG、CRAG 下成功率 0.7 到 0.87;系统改写问题后成功率仍有 0.79 到 0.93;困惑度「very challenging to detect malicious texts」,原因作者用的是「We suspect」;NQ 默认设置下 1000 个非目标问题,检索到恶意文本的占 0.3% 和 0.9%,生成答案受影响的占 0% 和 0.4%。 原文
Google 搜索副总裁 Elizabeth Reid,官方博客 2024-05-30:「This is what is often called a 'data void' or 'information gap,' where there's a limited amount of high quality content about a topic.」例子是「每天该吃几块石头」,不是品牌。 原文
NIST AI 100-2e2025(2025 年 3 月)第 3.4.2 节:「Attackers could use these capabilities to weaponize GenAI systems such as internet-connected chatbots …… recommending fraudulent products or services」;「Knowledge base poisoning. The knowledge database of a RAG system can be poisoned to achieved targeted LLM output to specific user queries, as in PoisonedRAG」(「to achieved」为原文拼写)。第 3.4.4 节:「current mitigations do not offer full protection against all attacker techniques」。 原文
Nestaas、Debenedetti、Tramèr,ICLR 2025 会议版表 1:「Fake camera (malicious) 34.0% 59.4%」,列名为 Before attack、After attack。研究者控制虚构商品网页;第 4 节写明假网页在普通搜索里排不上,提问时让搜索引擎直接去研究者的域名找,并跟知名品牌真相机比较。这组攻击是在网页里加提示注入(第 4 节),与只靠虚假知识的 PoisonedRAG 不同。 原文
Google 搜索中心《Optimizing your website for generative AI features on Google Search》(2026-07-10 更新):「Our core ranking systems focus on high-quality content while other systems block spam; our generative AI features depend on both.」「seeking inauthentic 'mentions' across the web isn't as helpful as it might seem」。只管 Google 搜索,没谈投毒难度。 原文
21 世纪经济报道(记者肖潇),2026-03-30,《求证了1028遍AI回复:泛滥的GEO,割了多少韭菜?》:「在总计1028条大模型参考链接中,有307条可以明确判断为GEO投放内容。」「尽管有307条GEO成为参考资料,但真正被写进回答的比例很低,57%的广告主最终没有被任何一款大模型推荐。」测试覆盖 5 款大模型、10 个消费场景;广告主总数正文未给出。 原文
Souly、Rando、Chapman 等(英国 AI 安全研究所、Anthropic、艾伦·图灵研究所):「We find that 250 poisoned documents similarly compromise models across all model and dataset sizes」,模型 6 亿到 130 亿参数。测的后门是看到触发词输出乱码。 原文
Anthropic 官网介绍页(2025-10-09):「It remains unclear how far this trend will hold as we keep scaling up models. It is also unclear if the same dynamics we observed here will hold for more complex behaviors」。 原文
中央网信办「清朗」专项(2026-04-30):「通过篡改训练语料、伪造权威数据、使用GEO(生成式搜索引擎优化)技术恶意营销等方式实施AI数据投毒。……在模型生成回答过程中,对引用信源缺乏交叉验证和风险提示机制,未标注引用信息链接。」 原文
新华网思客 2026-03-24,请北京大学光华管理学院张颖婕分析解答:「一是核查信息源,若AI附有引用链接,点开看看来源是权威机构、主流媒体,还是带有推广色彩的网站、自媒体或测评软文。二是交叉验证,换几个AI工具分别提问,或用搜索引擎查一下用户评价、新闻报道和投诉信息是否一致。」问答体,这段没有逐句标明是张颖婕的话。 原文
OpenAI 帮助中心《Searching the web with ChatGPT》:「Search results and citations can be incomplete, outdated, or incorrect.」 原文
大家也这样问
- AI为什么会推荐一个根本不存在的产品?
- AI投毒到底是怎么做到的?
- 发几篇软文真能让AI推荐吗?