这条在：GEO 图书馆 · 原典精读
C-SEO Bench（NeurIPS 2025）是怎么测会话式 SEO 的？
NeurIPS 2025 收录的 C-SEO Bench，把英文资料直接交给四个模型，比较十种文字改写能不能让资料在回答里更早被引用，也测了多篇资料同时用同一招的情况。
多数测试没有发现显著的平均名次提升，有些还下降了；它没有测真实搜索平台上的抓取、收录和长期效果，不能当成 GEO（AI 搜索优化）没用的通用证明。
有公开资料把这篇论文概括成「当多个竞争方都使用 GEO 时，效果互相抵消」。这句话省掉了实验条件。它实际测了什么，得一节一节看。
它问的是什么
给定一个问题和一组候选文档，改写其中一篇，模型在回答里会不会更早引用它？再往下问两件事：给模型的资料顺序重不重要；同一组候选里越来越多文档用同一招，收益会怎么变。
注意它测的起点：文档已经在模型手里了。它没测网页能不能被抓取、收录，也没测流量和成交。
数据和任务
两类任务、六个领域，全是英文：
| 任务 | 领域 | 查询数 |
|---|---|---|
| 产品推荐（从候选里挑五个并解释） | Retail（来自亚马逊购物查询） | 500 |
| Video Games（用 Steam 标签当查询） | 436 | |
| Books（查询由 GPT-4o 生成） | 249 | |
| 问答 | Web | 300 |
| News | 294 | |
| Debate | 142 |
把表 2 各领域相加，共有 1921 条查询、16360 条文档记录。部分材料来自真实平台，但查询不全是真实用户问的。
怎么量
指标是「引用名次」：目标文档在回答的引用序列里排第几。收益 = 改写前的名次 − 改写后的名次，正数表示往前了。没被引用也会计分：按公开的评估代码，只在一边没出现的，算在那次回答的引用列表最后之后；两边都没出现，记零。所以分数变化也可能来自「原来没引、后来引了」。
这个指标跟被引用的概率、回答里用了多少字、搜索结果页的排名，都不是一回事。这跟普林斯顿那篇 GEO 论文的「可见度」不是同一个指标，两篇的结果不能直接对比。作者还做了统计检验，判断平均名次的变化有没有足够证据支持；具体方法列在出处里。
测了哪些方法、哪些模型
十种「白帽」改写：加权威语气、加统计、加参考来源、改流畅、加少见词、加术语、简化语言、加引语、综合改写，还有一种是在原文前面加一段 Markdown 摘要，灵感来自 llms.txt。
所有改写都由 gpt-4o-mini 生成；回答用四个模型：gpt-4o-mini、Claude 3.5 Haiku、o3、o4-mini，都是接口调用，不是 ChatGPT、Claude 的搜索产品。
结果
作者的总结：「C-SEO methods are not only largely ineffective but can actually have the opposite expected effect by decreasing document ranking.」意思是，多数方法在这些测试里没有带来统计上显著的平均名次提升，有些反而让平均名次下降。
逐表看：
- 显著提升的很少。 GPT-4o-mini 只有三种组合出现显著提升：综合改写用于零售资料，以及在零售、游戏资料前加摘要。Haiku 和 o4-mini 的测试里，没有一种改写带来统计上显著的平均名次提升。o3 的表题说没有，但表里有三格加粗、给了显著的 p 值，论文自己前后不一致。
- 这套「加统计」改写多半帮倒忙。 四个模型乘六个领域一共 24 个组合，由模型生成的「加统计」改写有 19 个被标为让平均名次显著下降。这说的是这种自动改写，不是说真实数据不该写。
- 位置影响很大。 作者另做了一组对照：直接把目标文档放在输入的第一位，GPT-4o-mini 六个领域的平均引用名次都显著提前，平均提升约 0.7 到 2.8 位。在这套实验里，直接放到输入第一位带来的平均名次提升，比所测十种改写都大。它没有证明现实里某种 SEO 操作能把网站排到第一。
- 大家都用同一招，收益会缩。 同一组候选里，用同一方法的文档从 1 篇加到 10 篇，收益总体下降、趋近零。这组只测了 GPT-4o-mini、零售和游戏两个领域、综合改写和加摘要两种方法；曲线也不是一路单调往下。
论文里对不上的几处
- 正文说 54 个情形里有三项显著正向，但表 3 是十种方法乘六个领域，60 格，论文没解释 54 怎么来的。
- o3 的表题和表内标记矛盾（见上）。
- 图 4 的图注说前两个输入位置在所有领域都显著，但表 6 里第 2 位在 Debate 的 p=0.0634，没到阈值。
- 它描述前作普林斯顿论文时，说前作的位置加权指标普遍下降；但前作表 1 里，加引语、加统计、加出处后这个指标都高于基线。它还把前作说成只测了一家改写，而前作第 5.2 节已经测过所有来源同时改写。
这些结论别往外推
- 不是「GEO 没用」的通用证明。 它只测了英文、给定文档、四个接口模型、十种文字改写。作者也承认：只测了白帽方法和英文材料，没有研究传统 SEO 和这些改写一起用，会互相帮助还是互相抵消。
- 不是「大家都做就互相抵消」的证明。 一个 GitHub 资料仓库写「当多个竞争方都使用 GEO 时，效果互相抵消」。这句概括没有交代具体模型、方法和领域，单独摘出来，很容易被读成所有 GEO 都会互相抵消。
- 不能当成按原条件复现后，推翻了原 GEO 论文。 一个 GEO 百科站把它称作「相反结果」的复现研究，并把「许多对话式 SEO 改写就会失效，甚至适得其反」归因于多方同时优化；但两篇的指标、模型、数据都不同，而且很多负结果在只有一方改写时就出现了。
- 加摘要不等于 llms.txt 有效。 它是把摘要直接拼进喂给模型的正文，没测网站根目录放 llms.txt 以后，AI 会不会去读（见llms.txt 有用吗）。
我们的判断是：这篇论文最值得记住的，其实不是「改写没用」。是在这套实验里，直接把文档放到输入的第一位，平均引用名次提升得比测过的十种改写都多。论文没有测文档怎么进入候选、现实平台里又怎么排序，所以这不构成给品牌方的行动建议，只是读这篇论文时最该记住的一点。
出处 14 条，A 级 12 条、C 级 2 条 · 展开全部
Puerto、Gubri、Green、Oh、Yun《C-SEO Bench: Does Conversational SEO Work?》，arXiv 2506.11097：v1 2025-06-06，v3 2025-10-20（本文精读 v3）。 原文
NeurIPS 官方论文集：收录于 Advances in Neural Information Processing Systems 38，数据集与基准赛道。 原文
第 4 节、表 2：产品推荐 Retail 500 条查询、Video Games 436、Books 249；问答 Web 300、News 294、Debate 142，共 1921 条查询、16360 条文档记录。第 3、4.2 节：rank 是目标文档在回答引用序列里的位置，收益 = 改写前名次 − 改写后名次，正数表示提前；正向收益用单尾 Wilcoxon 符号秩检验，p<0.05，同领域比较做 Holm–Bonferroni 校正。1921、16360 是把表 2 各领域相加得出的。 原文
第 5、6.1 节：改写由 gpt-4o-mini-2024-07-18 生成；回答模型为 gpt-4o-mini-2024-07-18、claude-3-5-haiku-20241022、o3-2025-04-16、o4-mini-2025-04-16，用默认解码参数。 原文
表 3、表 7（GPT-4o-mini）：显著正向的只有三格：Content Improvement 在 Retail，LLM Guidance 在 Retail 和 Games。Haiku（表 4、8）和 o4-mini（表 11、12）没有改写方法达到正向阈值；o3 的表 9 表题说没有，但表内有三格加粗，表 10 也给了低于阈值的 p 值。Statistics 在四个模型乘六个领域的 24 格里，19 格被标为显著负向。 原文
第 6.2 节：「Our results show that C-SEO methods are not only largely ineffective but can actually have the opposite expected effect by decreasing document ranking.」 原文
第 6.3 节：把目标文档直接放到模型输入的第一位，GPT-4o-mini 六个领域的名次收益依次为 2.77、1.89、1.60、0.87、0.70、1.54，都显著。 原文
第 6.4 节、图 5：同一组候选里，采用同一方法的文档从 1 篇增加到 10 篇，收益总体下降、趋近零；图 5 只比较 GPT-4o-mini 在 Retail、Games 上的 LLM Guidance 和 Content Improvement。 原文
第 7 节局限：只覆盖白帽方法；不评估恶意操纵；没研究传统 SEO 与会话式 SEO 的协同或冲突；用的是商业闭源模型；没测文档超出上下文容量的情形；数据只有英文。 原文
公开代码仓库：引用名次用正则取方括号里的编号，保留首次出现的顺序。 原文
公开评估代码 4_evaluation.ipynb：没被引用也计分，只在一边缺席的，按那一边引用列表长度算作缺席位置；两边都缺席记零。 原文
前作 Aggarwal 等《GEO: Generative Engine Optimization》v3：表 1 位置加权词数 Overall，基线 19.3，加引语 27.2、加统计 25.2、加出处 24.6，都高于基线；第 5.2 节、表 2 测过所有来源同时改写。 原文
转述之一：GitHub 仓库 cn-seo-geo-atlas 的论文索引：「当多个竞争方都使用 GEO 时，效果互相抵消」。 原文
转述之二：GEO Wiki（署名 Ray Yang，页面另列检测工具），最近更新 2026-05-17：「许多对话式 SEO 改写就会失效，甚至适得其反。」上下文把它归因于多方同时优化，并称为原 GEO 论文的复现研究。 原文
大家也这样问
- C-SEO Bench是什么？
- 会话式SEO有研究吗？