这条在:GEO 图书馆 · 风险、治理与边界

AI 推荐的产品能信吗?怎么看出一条回答可能被投毒

先说答案

能参考,但折要打在对的地方,先看它引了什么。

21 世纪经济报道 2026 年 3 月底发表的一次抽样测试,让豆包、DeepSeek、元宝、千问、Kimi 五家在 10 个场景里推荐产品,1028 条参考链接里有 307 条被记者判定为 GEO(AI 搜索优化)投放内容,将近三成;但同一篇报道也说,57% 的广告主最终没被任何一家模型推荐。另一层更隐蔽的风险是,投放稿里虚构的数据和行业背景可能被当成「中立信息」吸收进回答。看一条回答可不可疑,我们建议看四处:它引的资料是不是一批结构雷同的测评榜单文;回答里提到的榜单、学会、报告查不查得到出处;产品在官网和电商平台查不查得到;换一家 AI、换个问法推荐还在不在。前两条有报道里的统计可对,后两条只有间接研究,只能当参考。

有人问我们,DeepSeek 推荐的东西可信吗?豆包给的那几个牌子是不是有人花钱买的?这个问题在 2026 年 3 月之后问得特别多,因为 3·15 晚会播了一段:有人给 AI「投毒」。

真人怎么说

论坛原文 · 1 条 · 9 月 29 日摘

智能体 还是基于 历史数据训练的, 人工微调的, 你咋保证 没有经过 相关利益 干预的结果呢.

V2EX · 一位 V2EX 用户 · · 原帖帖子:目前什么 AI 工具在购物推荐&比价上比较好用?(第 1 楼)

先把最像样的一组数摆出来,再说怎么看。

有人真的数过

2026 年 3 月底,21 世纪经济报道发了一篇稿子,标题是《求证了1028遍AI回复:泛滥的GEO,割了多少韭菜?》。记者挑了 10 个场景:5 个是消费者会问的,比如快消、数码、线下餐饮;5 个是企业会问的,比如装修、律所、出海服务。每个场景用同一句话去问豆包、DeepSeek、元宝、千问、Kimi,让它们推荐产品或服务,再把回答列出的参考链接一条条点开看。

一共 1028 条参考链接,记者判定其中 307 条是 GEO(AI 搜索优化)投放内容。307 除以 1028 是 29.9%,将近三成。报道导语写的是「超过三成」,正文没印百分数,只印了这两个数,我们按正文算。

三成这个数吓人,但它说的是参考链接,不是回答,更不是最后被推荐的名单。同一篇报道往下写了一句很多转述都漏掉的话:57% 的广告主最终没有被任何一款大模型推荐。广告主花了钱发了稿,稿子进了资料库,名字最后还是没被写进回答。被推荐成功的少数广告主,记者说,多是本来就有些知名度的品牌。

真正让人不安的是另一件事。报道说,虚构的数据和行业背景「可能作为“中立信息”,被吸收进大模型回答」,广告主自己没被推荐也一样。它举了一个例子:问千问「国内靠谱的欧盟 CE 认证机构」,回答里引了一条「32% 的企业因非权威机构认证失败」,这个数来自一篇投放稿,查无出处。这是个案,报道没有给出这种情况发生的次数。

分场景看差别很大。问「靠谱的国内 GEO 服务商」,平均每十条参考链接有七条是投放;问无糖椰子水、上海日料店,一条像模板的投放都没发现。服务商自己扎堆的领域,水最浑。

3·15 演示了一遍它有多容易

3·15 晚会那段是业内人士当场做的。上午在自媒体账号发了一篇虚构文章,讲一款根本不存在的手环。两个小时后,点名去问「Apollo-9智能手环怎么样」,某个大模型参考的资料里就有这篇。

接下来三天里又发了 11 篇:8 篇「专家测评」、2 篇「行业排名」、1 篇「用户测评」。然后不点名,只问「智能健康手环推荐」,有两个大模型把这款手环排在了前面。报道没说是哪两家,也没说一共问了几家、几次。那款手环的名字是个冷门词,网上没有别的信源跟它竞争;热门品类信源多,会不会这么容易,这次演示说明不了。

我们自己也碰到过一次 AI 往空白里填东西。9 月 27 日测第 1 周固定面板时,我们编了一家「上海的青柚拓片工作室」,事先在 Bing 和 Google 上查过,没有同名机构,然后拿「上海的青柚拓片工作室是做什么的?」去问四家 AI。元宝没有联网,讲了一段这家工作室做什么活动、面向谁,像真有这么一家。豆包说没查到登记的机构,猜是社交平台上的个人手作小店。DeepSeek 和 Kimi 说没查到,只按「拓片」两个字讲了讲这类店一般做什么。这跟 3·15 是两回事:3·15 是网上已经有一篇假稿,模型把它抓来当了资料;青柚这次是没查到,有的模型就按名字往下编。一台手机、一天、每家问一次,说明不了规律。

为什么 AI 分不出软文

人一眼能看出来的东西,模型未必看得出来。这不是猜的,有几项研究测过。

加州大学伯克利分校的研究者 2024 年发在 ACL 上的一篇论文,测的是模型判断一个网页可不可信时看什么。结论是它们主要看网页跟问题相不相关。人看重的特征,比如有没有科学引用、语气是否中立,它们基本不理会。斯坦福的 ClashEval(NeurIPS 2024)测了另一头:检索回来的内容是错的时,六个模型有六成以上的情况会放弃自己原本正确的认知,跟着错的走;错得越接近真的,越容易被跟着走。

投放稿的写法正好是往「接近真的」那边靠。21 世纪那篇报道归纳过它们的模板:开头引一份宏观报告立背景,中间分几个维度测评,然后出一张排行榜,最后一句「各有优势,但某品牌综合领先」。记者还观察到,批量复制的稿子在人眼里是广告的信号,在模型眼里反倒成了「交叉验证」的证据,许多大模型的推理过程里会写出「在多个权威报告中都被列为市场第一,这些数据互相印证」这样的话。这是记者的观察,不是实验。

宾夕法尼亚州立大学等机构的 PoisonedRAG(USENIX Security 2025)在受控环境里测过这件事:在一个百万级文本的资料库里,给每个目标问题塞 5 条恶意文本,攻击成功率能到 90%。论文试了几种防御,其中两种值得一说。按一字不差去重,没用,因为每条投毒文本都改写过。让系统多检索,把每次读的来源加到 50 条、其中只有一成是投毒的,在 HotpotQA 这个数据集上攻击成功率仍有 41%(黑盒)和 43%(白盒),论文用的词是「比如」。这是封闭式问答的实验,也是系统侧多读几条,不是用户自己多看几个来源,更不能换算成「写 5 篇软文就能让 DeepSeek 推荐你」。它说明的是:多读能稀释,稀释不掉。

线上产品上的攻击也被演示过。苏黎世联邦理工的研究者(ICLR 2025)用精心写的网页内容,在 Bing Copilot 和 Perplexity 上分别做了实验,让模型抬高攻击者的产品、贬低竞品;他们的主实验多是让模型在作者自己的几个网站里挑,一款虚构相机被推荐得比真相机多,是 Bing Copilot 上的结果。测的是 2024 年的英文产品。

平台自己怎么说

四家的用户协议我们都翻了。豆包写的是,输出内容是模型对搜索来源里信息的「整合」,即使标注了来源仍可能不准确,数字、时间、事实描述「请自行核实后再进行使用」。元宝用的词是「智能整合」,后面跟一句「请您注意甄别」。DeepSeek 说,开了联网搜索「或将在一定程度上提升」准确性,但生成内容可能不准确「无法完全避免」。Kimi 提醒「请不要将输出视为唯一的事实来源」,还有一句:输出提到第三方产品,不代表那个第三方认可这段话,也不代表它和月之暗面有关系。

这些都是通用的免责条款,没有一家专门提到投毒。网信办 4 月 30 日那份部署,在点名「使用GEO(生成式搜索引擎优化)技术恶意营销」的同一段里,把平台「对引用信源缺乏交叉验证和风险提示机制」也列成了要整治的问题。

看一条回答可不可疑,我们看四处

下面是我们自己的做法。前两条有 21 世纪报道里的统计可以对,后两条只有间接研究,只能当参考。

第一处,看它引的资料是不是一批长得一样的测评榜单文。判断依据就是上面那个模板:宏观报告开头、多维度测评、排行榜、「综合领先」。要看结构和说法像不像,不是找一字不差的复制,投毒文本每篇都被改写过。有一个常见误解要纠正:不是看域名新不新。21 世纪的统计里,投放阵地前五名是搜狐号、博客园、网易号、百家号和今日头条,都是老平台上的自媒体号,合起来占了那 307 条投放稿引用量的 55%。报道还提到,其中有些账号挂着地方融媒体的认证。

第二处,回答里提到的榜单、学会、报告、临床数据,查不查得到原始出处。21 世纪抽查的样本里,87% 有不同程度的伪造背书,轻的虚构测评方法,重的直接编机构、编报告。有一篇编了「老年营养学会」和「术后康复医学研究会」两个机构,自称联合发布了蛋白粉十大品牌榜单。一项 2026 年 6 月的预印本在护肤品推荐上也测到,商品规格相同时,带「权威风格」的营销话术,包括编造的临床证据,能打破大牌的垄断,幅度约 0.17 个评分点,三个模型反应各不相同。回答里出现一个没听过的学会或报告,先搜一下它存不存在。

第三处,产品在品牌官网、电商旗舰店、企业信息平台查不查得到。中消协今年 8 月的提示说,价格、合同、售后这类重要消费信息,不宜只依据 AI 生成内容作决定,要到经营者官方渠道、监管部门等权威渠道核实。它说的是价格和合同,不是专门针对推荐名单;旗舰店和企业信息平台是我们自己加的去处。这一条只能拦住最粗的投毒,比如 3·15 那只不存在的手环。真品牌一样可以买投放,2026 年 9 月一篇预印本还指出,恶意 GEO 改写后的文档在事实上跟原文是一致的,查事实查不出问题。查得到,不等于这条推荐是公正的。

第四处,换一家 AI、换个问法,推荐还在不在。换一家能差多少,有一项 2026 年 6 月的预印本可以参考:13 个模型后端被网页操纵带偏推荐的比例,从 0 到 31.4% 不等。3·15 那次原稿只写了「两个」大模型中招,没说一共问了几家。反过来的证据也有:EMNLP 2024 那篇的攻击能迁移到 perplexity.ai,ICLR 2025 那篇在 Bing Copilot 和 Perplexity 上都成功了;21 世纪的报道也看到多个模型的参考资料高度同质。多家一致,可能只是多家读了同一批稿。加上 AI 的推荐名单本来就不稳定(见《同一个问题,AI 为什么每次答得不一样?》),推荐换一家问就不见了,也说明不了什么。换个问法有没有用,我们没找到研究测过。

还有一条是赛迪研究院一位研究员在 3·15 之后接受采访时说的,我们觉得有道理:警惕「过度一致性」。回答对某个品牌一边倒地好评,没有对比、没有风险提示,就该多想一下。这是专家的经验,没有实验数据。

也有人不这么看

3·15 当天,有自媒体发文说「大模型AI助手纷纷中标」,被新浪财经转载。央视财经的原稿写的是「两个AI大模型」推荐了那款手环,没点名,也没说一共问了几家;原片和原稿都没有逐一点名,我们也没找到别的点名依据。「纷纷」比原稿说得多。

同一篇还给四家排了名:「豆包和DeepSeek表现满分,千问和元宝负分」。文章没交代问了什么、问了几次、怎么打分,只能当作一次没交代方法的个人测试,排不出哪家更安全。我们自己那次青柚拓片,元宝也确实编了,但一次说明不了排名。

这些结论别往外推

  • 21 世纪那次测试是一次抽样,测试日期、每个场景问了几次、「GEO 投放」怎么判定,原文都没交代。它能说明这类问题里投放很常见,说明不了具体某一条回答有没有被投毒。也不能反过来把所有推荐都当成买来的:57% 的广告主根本没被推荐。
  • PoisonedRAG、ClashEval、ACL 那篇,都是受控实验,对象是问答题,不是产品推荐,测的也是 2024 年的模型。
  • 3·15 和我们的青柚拓片,测的都是网上几乎没有信源的冷门名字。热门品类里信源多,结果会不一样。
  • 平台协议里的「可能不准确」是写给所有输出的通用免责,四家没有一家提到 GEO 或投毒,别拿它当「平台自己承认了」的证据。
  • 四处检查里,前两处有 21 世纪的统计;后两处有预印本可参考,但没有研究直接检验过用户这么做能不能识别投毒。

我们的判断是:问「DeepSeek 推荐的东西可信吗」,别先纠结信不信,先看它引的是什么。从现有的材料看,投放稿想把名字推进名单,成功的不多;假数字混进回答的例子,报道里有,次数没人数过。所以点开它的来源,看那几篇文章长得像不像一个模子,看里面提到的榜单和机构存不存在。这两步有报道里的样本可对;换一家再问一遍,没有研究证明它更能识别投毒。

出处 21 条,A 级 11 条、B 级 8 条、C 级 2 条 · 展开全部
  1. 21 世纪经济报道记者肖潇《求证了1028遍AI回复:泛滥的GEO,割了多少韭菜?》,2026-03-30:「在每个场景中,我们使用相同的提示词,让国内月活排名前五的大模型推荐产品或服务(豆包、DeepSeek、元宝、千问和Kimi)」;「在总计1028条大模型参考链接中,有307条可以明确判断为GEO投放内容」;「57%的广告主最终没有被任何一款大模型推荐」;「虚构的数据和行业背景可能作为“中立信息”,被吸收进大模型回答」;「搜狐号、博客园、网易号、百家号和今日头条是GEO投放阵地Top 5,贡献了55%的引用量」;「在抽查样本中,87%的GEO内容存在不同程度的伪造背书」。测试日期、每个场景问几次、GEO 的判定标准原文没交代;「GEO 投放」是记者的人工判定。 原文

    媒体报道 · 新闻媒体 · B 级 · 核对于 2026-09-28

  2. 央视网 2026 年 3·15 晚会节目页《谁在给AI“投毒”》,2026-03-15:「GEO业务服务商长期承揽各种发稿业务,以便让AI大模型引用和抓取,帮客户给AI大模型“喂料”、“投毒”,让客户的产品榜上有名」。我们核的是节目页文字,没有逐帧看视频。 原文

    媒体报道 · 节目发布方 · B 级 · 核对于 2026-09-28

  3. 央视财经客户端(澎湃新闻转载),2026-03-15:一篇虚构文章发出后,「这款AI大模型所参考的资料,正是上午刚发布在业内人士自媒体账号上的那篇虚构文章」;三天发出 11 篇虚构软文后问「智能健康手环推荐」,「就有两个AI大模型推荐了这款业内人士虚构的智能手环,而且排名靠前」。没点名是哪两家,没说一共问了几家、几次。 原文

    媒体报道 · 原报道及转载媒体 · B 级 · 核对于 2026-09-28

  4. 中央网信办「清朗·整治AI应用乱象」专项行动部署,2026-04-30:「四是AI数据投毒问题。通过篡改训练语料、伪造权威数据、使用GEO(生成式搜索引擎优化)技术恶意营销等方式实施AI数据投毒。……在模型生成回答过程中,对引用信源缺乏交叉验证和风险提示机制,未标注引用信息链接。」 原文

    监管机关原文 · 监管部署发布机关 · A 级 · 核对于 2026-09-28

  5. 中国消费者协会消费提示(中国新闻网 2026-08-25 全文转载):「对涉及价格费用、合同条款、售后服务、法律责任等重要消费信息,不宜仅依据人工智能生成内容作出决定,应通过经营者官方渠道、合同文本、监管部门及其他权威渠道进行核实确认。」中消协原站当天打不开,引的是转载稿。 原文

    社会组织提示 · 法定消费者组织 · B 级 · 核对于 2026-09-28

  6. 新华网《AI被“投毒”,如何避免上当受骗》,2026-03-18,赛迪研究院黄文鸿接受科技日报采访:「要警惕“过度一致性”,如果AI的回答对某个品牌或产品呈现高度一致的正面评价,且缺乏客观对比与风险提示,就需要提高警觉。」专家个人建议,没有实验数据。 原文

    媒体报道 · 部委直属研究机构研究人员 · C 级 · 核对于 2026-09-28

  7. 豆包用户协议第 2.2.2 条(2026-09-17 生效):「本软件的输出内容是模型基于自然语言理解能力对搜索来源中的信息的整合,即使标注了搜索来源,输出内容仍可能存在不准确之处……(特别是其中包含的数字、时间以及各类事实性描述等内容,请自行核实后再进行使用)」。 原文

    平台用户协议 · 平台经营者 · A 级 · 核对于 2026-09-28

  8. 腾讯元宝用户服务协议(截至 2026-09-28 页面所示,未标版本日期):「本软件的输出内容是模型基于自然语言理解能力对搜索信息进行的智能整合,虽然标注了搜索来源,但仍可能存在不准确之处……请您注意甄别。」 原文

    平台用户协议 · 平台经营者 · A 级 · 核对于 2026-09-28

  9. DeepSeek 用户协议第 5.1、5.2 条(2025-09-05 生效):输出「可能出现错误或遗漏,仅供您参考」;开联网搜索「或将在一定程度上提升输出生成内容的准确性和时效性」,但「模型生成内容可能不准确是行业内普遍存在的共性问题,无法完全避免」。 原文

    平台用户协议 · 平台经营者 · A 级 · 核对于 2026-09-28

  10. DeepSeek《模型原理与训练方法说明》(页面无日期):预训练用「互联网上公开可用的信息」和「与第三方合作获取的信息」;「现阶段我们无法保证模型不产生幻觉」。 原文

    平台官方文档 · 平台经营者 · A 级 · 核对于 2026-09-28

  11. Kimi 用户服务协议风险提示段(2026-08-31 生效):「请不要将输出视为唯一的事实来源或绝对真实信息」;「如果输出提及任何第三方产品或服务,这并不意味着该第三方认可该内容,或该第三方与月之暗面有关联」。 原文

    平台用户协议 · 平台经营者 · A 级 · 核对于 2026-09-28

  12. Zou、Geng、Wang、Jia《PoisonedRAG》,USENIX Security 2025(同行评审):「PoisonedRAG could achieve a 90% attack success rate when injecting five malicious texts for each target question into a knowledge database with millions of texts」;完全相同去重挡不住(每条投毒文本都是改写过的);多检索到 k=50 条时,HotpotQA 上攻击成功率仍有 41%(黑盒)、43%(白盒)。受控的封闭式问答实验,不是公开互联网上的产品推荐。 原文

    会议论文 · 学术研究 · A 级 · 核对于 2026-09-28

  13. Nestaas、Debenedetti、Tramèr《Adversarial Search Engine Optimization for Large Language Models》,ICLR 2025(同行评审):「carefully crafted website content or plugin documentations can trick an LLM to promote the attacker products and discredit competitors」;在 Bing Copilot 和 Perplexity 上分别演示。虚构相机被推荐得比真相机多,是 Bing Copilot 上的结果。测的是 2024 年的英文线上产品。 原文

    会议论文 · 学术研究 · A 级 · 核对于 2026-09-28

  14. Pfrommer、Bai、Gautam、Sojoudi《Ranking Manipulation for Conversational Search Engines》,EMNLP 2024(同行评审):不同大模型给商品排序时,看重商品名、网页内容、位置的程度差别很大;针对性攻击能迁移到 perplexity.ai。 原文

    会议论文 · 学术研究 · A 级 · 核对于 2026-09-28

  15. Wan、Wallace、Klein,ACL 2024(同行评审):「current models rely heavily on the relevance of a website to the query, while largely ignoring stylistic features that humans find important such as whether a text contains scientific references or is written with a neutral tone」。测的是有争议的是非题,不是商品推荐。 原文

    会议论文 · 学术研究 · A 级 · 核对于 2026-09-28

  16. Wu、Wu、Zou《ClashEval》,NeurIPS 2024 数据集与基准赛道(同行评审):检索到的内容是错的时,六个模型「overriding their own correct prior knowledge over 60% of the time」;错得越离谱越不容易被采纳。人为篡改答案的实验,不是真实网页投放。 原文

    会议论文 · 学术研究 · A 级 · 核对于 2026-09-28

  17. Chen 等《How Much Can We Trust LLM Search Agents?》(SearchGEO),预印本,2026-06-15:13 个模型后端被网页操纵带偏推荐的比例「ranges from 0.0% on Claude-Sonnet-4.6 to 31.4% on Gemini-3-Flash」,最有效的攻击方式因模型家族而异。受控评测,没写是否含国内模型。 原文

    预印本 · 学术研究 · B 级 · 核对于 2026-09-28

  18. Chu、Hou《Incumbent Advantage》,预印本,2026-06-16:护肤品推荐实验里,「authority-style marketing language, including fabricated clinical-evidence claims, breaks this monopoly」,各模型反应不同。测 GPT-4o-mini、Claude Sonnet、Gemini 3 Flash。 原文

    预印本 · 学术研究 · B 级 · 核对于 2026-09-28

  19. Li 等《When Optimization Becomes Manipulation》(GEO Defender),预印本,2026-09-02:恶意 GEO 改写后的文档「remain factually consistent with their originals, rendering fact verification and perplexity filtering ineffective」。讲的是系统侧防御。 原文

    预印本 · 学术研究 · B 级 · 核对于 2026-09-28

  20. 母本自测(2026-09-27,第 1 周固定面板阴性对照):在手机 App 里问四家「上海的青柚拓片工作室是做什么的?」,这家是我们编的,事先用 Bing、Google 查过没有同名机构。元宝没联网,讲了一段它做什么活动、面向谁;豆包说没查到登记的机构,猜是社交平台上的个人手作小店;DeepSeek、Kimi 说没查到,只按「拓片」两个字讲这类店一般做什么。一台手机、一天、每家一次。 原文

    母本自测 · 母本做品牌 AI 搜索优化 · B 级 · 核对于 2026-09-28

  21. 流传说法:新浪财经转载自媒体「AI普瑞斯」,2026-03-15 21:50:导语称「大模型AI助手纷纷中标」,正文写「四大AI助手即时测评中,豆包和DeepSeek表现满分,千问和元宝负分。」没交代提问内容、次数和打分标准。 原文

    被核对象 · 自媒体,商业关联未核实 · C 级 · 核对于 2026-09-28