这条在:GEO 图书馆 · 原典精读
普林斯顿 GEO 论文(KDD 2024)到底做了什么实验?
2023 年公开、2024 年被 KDD 大会录用的论文《GEO: Generative Engine Optimization》,主实验是把 Google 前五条结果交给 GPT-3.5 写带引用的回答,再把其中一条来源用 9 种方法分别改写,比较它在回答里的可见度。
作者另在 Perplexity 上做了限定上传文件的测试;这些实验都没有测改写能不能提高搜索排名、带来真实流量。
作者在这篇论文里提出了 GEO(AI 搜索优化)。中文网上常把它叫作「普林斯顿研究」,引用的文章不少。下面按原文拆开看,也核对几处中文文章里的转述。表号和数字,一律以 arXiv 上的第三版为准。
谁写的、什么时候
六位作者:Pranjal Aggarwal、Vishvak Murahari、Tanmay Rajpurohit、Ashwin Kalyan、Karthik Narasimhan、Ameet Deshpande。第一版 2023 年 11 月 16 日挂上 arXiv,当时署的单位有印度理工学院德里分校、普林斯顿大学、佐治亚理工、艾伦人工智能研究所;第三版(2024 年 6 月 28 日)里,Rajpurohit 和 Kalyan 改署了「独立研究者」。第三版注明被 KDD 2024 录用,那是 ACM 的数据挖掘年会,经过同行评审。
这不是普林斯顿一家完成的研究。排第一的 Aggarwal 署名印度理工学院德里分校;论文注明他和排第二、署名普林斯顿的 Murahari 贡献相同。
怎么做的
题库。 作者自己做了一个题库,叫 GEO-bench,一共 1 万道题,分成训练、验证、测试三份,测试集 1000 道。题目来自九种来源,包括公开数据集、平台上的问题,以及 GPT-4 生成的问题,覆盖 25 个领域。大约八成是在查资料,一成跟购买、办理这类操作有关,另一成是在找特定的网站或页面。
「生成引擎」是作者搭的。 主实验里的生成引擎不是 ChatGPT,也不是 Perplexity 这类现成产品。作者的做法是:每道题拿 Google 前 5 条搜索结果,清洗成纯文本,交给 GPT-3.5,让它写一段带引用的回答。
改的是什么。 每道题随机挑出这 5 条来源里的一条,用 9 种方法各改写一遍,其他 4 条不动,再看这一条在回答里的表现有没有变化。9 种方法都是让大模型改正文文字:加权威语气、加统计数字、加出处、加引语、简化、润色、加独特词、加术语、堆关键词。没有测改网站结构、加结构化数据、买外链这类事。
怎么量「可见度」。 论文有两个指标:
- 位置加权词数:先数回答里引用这条来源的句子有多少词,越靠前的句子权重越大;一句话引了好几个来源,就把词数平分;最后折成各来源所占的相对份额。它量的是这条来源在回答里分到多少,不是从网页里逐字抄了多少,也不是被引用的次数、点击或流量。
- 主观印象:让 GPT-3.5 从相关性、影响力、独特性等七个方面给这条来源打分。这是模型打的分,不是真人读者的感受。
发现了什么
主实验(1000 道测试题)。 下面是表 1 里位置加权词数的 Overall 列,也就是各方法的平均得分:
| 改写方法 | 得分 |
|---|---|
| 不改写 | 19.3 |
| 堆关键词 | 17.7 |
| 加独特词 | 20.5 |
| 权威语气 | 21.3 |
| 简化 | 22.0 |
| 加术语 | 22.7 |
| 加出处 | 24.6 |
| 润色 | 24.7 |
| 加统计 | 25.2 |
| 加引语 | 27.2 |
加引语和加统计得分最高,润色、加出处也明显高于不改写;堆关键词的得分低于不改写。常被引用的那几个百分比,是拿这一列算出来的:加引语约 +41%,加统计约 +31%,加出处约 +27%,堆关键词约 −8%。原表印的是分数,不是这几个百分比。这些百分比也不能理解成照做就能涨四成,它们有具体的实验条件。
换成主观印象来看,结论不完全一样:堆关键词的平均分从 19.3 升到了 20.2。所以说堆关键词「被惩罚」,要注明是哪个指标。
按搜索排名分组。 作者还把 5 条来源按 Google 排名分开看。这组实验是 5 条来源同时加出处,每个排名跟自己原来的表现比:排第 5 的,可见度相对变化 +115.1%;排第 1 的,−30.3%。它说的是搜索排名靠后的来源,改写后相对提升更大;不是说排第 5 的最后超过了排第 1 的,更不是说小品牌能赢大品牌。
Perplexity 的实验。 作者也在真实产品 Perplexity 上试了,用测试集里的 200 道题。用的是真实产品,但作者限定了它能看的材料:来源以文件上传,只能用这些文件回答。这不是把网页改好、等 Perplexity 去网上抓。结果各方法、各指标涨跌不一:加引语,位置加权词数从 24.1 到 29.1;加统计,主观印象从 24.7 到 33.9;加出处的主观印象平均分反而从 24.7 降到了 19.0。
没说什么
论文自己在最后一节写了局限:
- 只测了两个生成引擎,其中只有一个是公开产品;
- 生成引擎在变,这些方法「may need to adapt over time」,可能要跟着调整;
- 没有评估这些改写对搜索排名的影响;
- 题目的标注可能有主观误差。
从实验设计里还能看出几条:
- 它测的是「来源已经被检索到、摆在 AI 面前以后」怎么写更容易被用上,不管怎么让 AI 先找到你;
- 生成引擎只有两个:GPT-3.5 搭的那个和 Perplexity,没有豆包、DeepSeek、元宝、Kimi;
- 它量的是可见度,不是流量,也不是成交。
还有一处,我们在论文里没找到解释:v3 表 1 和附录表 6 的数值对不上。比如堆关键词,表 1 是从 19.3 降到 17.7,表 6 里两者都是 19.8。正文和附录都提到对五个随机种子取平均,但两张表为什么不同,我们没在文中找到说明。所以引堆关键词「下降」时,最好注明是表 1。
被怎么转述走样
我们 2026 年 9 月 27 日在中文网上找到的几种走样:
- 一篇推广某款 AI 内容管理产品的社区文章,写「而排名第 1 的网站反而略有下降(-3%)」。原表是 −30.3%,差了一个数量级。
- 一家卖 GEO 数据和品牌可见性追踪产品的公司,在文章里写「一个基于 GPT-4 的主观评分系统(G-Eval)」。论文借鉴了 G-Eval 的打分方法,那项工作的标题里有 GPT-4,但这篇论文第 3.4 节写明,打分用的是 GPT-3.5。
- 一家提供 GEO 优化和发稿服务的公司,在文章里写「覆盖8个不同领域……对AI引用率的影响」。论文写的是 25 个领域,量的是可见度,不是引用率。
我们只指出这几处说法跟原文不符,不评价这几家的服务。
这些结论别往外推
- 换了指标和实验设置,后来的研究没有看到同样的普遍提升。 NeurIPS 2025 的 C-SEO Bench 测了一批改写方法,多数没能改善文档在 AI 回答里的引用排名。它看的指标不同,论文自己也说两者不矛盾;但说明这些方法换个场景不一定灵。
- 这些提升有个前提:材料已经放到 AI 面前了。 2026 年 7 月一篇批判性综述(预印本)指出,原论文的提升在它的实验条件下成立,但以来源已经在固定的上下文里为前提;它说原论文既没有证明能被自然检索到,也没有证明持久的流量效果。
- 同一篇论文里,指标一换,结论就变。 前面说过,堆关键词的主观印象分反而升了;加出处在 Perplexity 那组的主观印象分反而降了。
我们的判断是:这篇论文值得读,它把「怎么写才更容易被 AI 用上」拿到实验里量了一遍。引用它的结果时,要说清引用的是哪组实验、看的哪个指标。
出处 15 条,A 级 10 条、B 级 1 条、C 级 4 条 · 展开全部
Aggarwal、Murahari、Rajpurohit、Kalyan、Narasimhan、Deshpande《GEO: Generative Engine Optimization》,arXiv 2311.09735。v1 2023-11-16,v3 2024-06-28,v3 页面注明「Accepted to KDD 2024」。本文引用的表号和数字以 v3 为准。 原文
v1 首页单位:「♠ Princeton University † Georgia Tech ‡ The Allen Institute for AI ♢ IIT Delhi」。 原文
v3 首页:Rajpurohit 和 Kalyan 改署「Independent」(Seattle, USA);Aggarwal 署 IIT Delhi,Murahari、Narasimhan、Deshpande 署 Princeton University;前两位标注「Equal Contribution」。 原文
v3 第 3 节:「Our benchmark comprises 10K queries divided into 8K, 1K, and 1K for train, validation, and test splits」;主实验用完整测试集 1000 条。每题「only the top 5 sources are fetched from the Google search engine」,交给 gpt3.5-turbo 生成带引用的回答。 原文
v3 第 2.2 节:可见度指标之一是 Position-Adjusted Word Count,统计引用该来源的回答句子的词数,按句子在回答里的位置做衰减;另一个是 Subjective Impression,由 GPT-3.5 按相关性、影响力、独特性等七个方面打分。 原文
v3 表 1(主实验,1000 条测试查询)位置加权词数的 Overall 列:不改写 19.3,堆关键词 17.7,加独特词 20.5,简化 22.0,权威语气 21.3,加术语 22.7,润色 24.7,加出处 24.6,加引语 27.2,加统计 25.2。主观印象平均分:不改写 19.3,堆关键词 20.2。v1 表 1 数值相同。 原文
v3 表 2(v1 为表 3):所有来源同时优化时,按 Google 排名分组的可见度相对变化。加出处一行:排第 1 −30.3,第 2 +2.5,第 3 +20.4,第 4 +15.5,第 5 +115.1。 原文
v3 附录 C.1:Perplexity 实验「We evaluate all our methods on a subset of 200 samples of our test set」,来源以文件上传,限定只用这些文件。表 5:不优化 24.1/24.7,加引语 29.1/32.1,加统计 26.2/33.9(两列分别是位置加权词数和主观印象)。表 7:加出处的主观印象平均分 19.0。 原文
v3 第 9 节局限:只测了两个生成引擎,其中一个是公开产品;方法「may need to adapt over time as GEs evolve」;没有评估对搜索排名的影响;标注可能有主观误差。 原文
ACM 出版页:DOI 10.1145/3637528.3671900。2026-09-27 访问返回 403,没能直接读到 ACM 的最终版本和上线日期;录用信息和会期来自 arXiv 页面和 KDD 格式稿。 原文
Puerto 等《C-SEO Bench》,NeurIPS 2025 数据集与基准赛道,arXiv 2506.11097:多数会话式 SEO 方法没能改善文档在 AI 回答里的引用排名;第 6.2 节说明它跟原 GEO 论文用的指标不同,结果并不矛盾。 原文
Olivier Martinez,GEO 批判综述,arXiv 2607.14035,v1 2026-07-15:原论文的涨幅「valid within its experimental setting but conditional on a source already being present in a fixed context; they establish neither organic discoverability nor durable traffic effects」。 原文
被核的转述之一:一个开发者社区账号的文章,写「而排名第 1 的网站反而略有下降(-3%)」。原表是 −30.3。文章在推广一款 AI 内容管理产品,不是平台官方研究。 原文
被核的转述之二:一家 GEO 数据服务商的文章《解读普林斯顿大学GEO论文》(2026/01/20,2026/07/04 更新):「一个基于 GPT-4 的主观评分系统(G-Eval)」。论文第 3.4 节写的是用 GPT-3.5 评分。 原文
被核的转述之三:一家 GEO 服务商的文章:「覆盖8个不同领域,测试了9种内容优化策略对AI引用率的影响。」论文写的是 25 个领域,测的指标是可见度,不是引用率。 原文
大家也这样问
- 普林斯顿GEO论文说了什么?
- GEO那篇论文的实验靠谱吗?