AI引用偏向排第一的来源吗?一项重放实验:对调顺序后差距几乎消失,改成小标题列表多拿标注却未必更容易入选

AI引用偏向排第一的来源吗?一项重放实验:对调顺序后差距几乎消失,改成小标题列表多拿标注却未必更容易入选
张文保 20 分钟阅读 2,108 阅读
本文目录
  1. 这个实验到底控制了什么?
  2. 先让智能体自己搜一遍
  3. 再挑出“势均力敌”的两个页面
  4. 然后每次只改一个地方
  5. 它和以往的GEO研究有什么不同
  6. 排第一的页面真的更容易被引用吗?
  7. 把顺序对调之后
  8. 改成小标题加列表,能多拿引用吗?
  9. 只改排版、一个字不动,结果翻了
  10. 为什么格式会被模型看到
  11. 同样的输入重跑一遍,结果为什么会变?
  12. 看懂这几个统计说法
  13. 换一个模型试试
  14. 论文自己承认的局限
  15. 这篇论文对SEO和GEO工作意味着什么?
  16. 它能说明的
  17. 它说明不了的
  18. 和结构化数据那类结论放在一起看
  19. Ahrefs那次结构化数据测试怎么做的
  20. 那内容要不要写成结构化的
  21. 想自己做一次对照测试,可以这样设计
  22. 外贸站和独立站可以怎么落地
  23. 给监测报告加一条规矩
  24. 常见问题解答
  25. AI引用会偏向搜索结果排在前面的页面吗?
  26. 这里说的排名是Google排名吗?
  27. 把文章改成小标题加列表,会被AI引用更多吗?
  28. 为什么同样的输入,引用结果会不一样?
  29. 论文用的是哪个AI?
  30. 这项研究能说明改网页格式有用吗?
  31. AI读网页时还能看到列表和标题吗?
  32. 做AI引用测试至少要跑几次?
  33. 引用标记数和至少被引用一次有什么区别?
  34. 这项研究和GEO论文的结论矛盾吗?
  35. 样本量够大吗?
  36. 加结构化数据能提高AI引用吗?
  37. 论文经过同行评审了吗?
  38. 权威参考资料

摘要:一篇9月14日提交到arXiv的预印本,用一个接了Exa搜索的GPT-5.4智能体回答了129个日常问题,再把对话原样冻结、每次只改一个变量重放。按原始数据看,搜索结果排第1的页面被引用的比例是85.1%,排第5的是42.8%,差了42.3个百分点;把支持同一事实的两个页面对调顺序后,差距只剩7.9个百分点且经多重检验校正后不显著,换一批样本再测是0。把页面文字改写成带小标题和列表的版本,平均每个答案多拿0.50个引用标记,可总引用数没变,“至少被引用一次”的概率只多了4.5个百分点,结论不确定。同样的输入重跑一遍,约七分之一的引用决定会翻转。作者的原话是:这是归因敏感性的警告,不是优化技巧。

做AI可见度的人,几乎都见过这类结论:被AI引用的页面里,多少比例用了结构化数据、多少比例排在搜索结果前几名、多少比例用了列表。数字往往很漂亮,接着就是一条建议:你也照着做。

问题在于,这些数字大多是相关关系。排得靠前的页面本来就更贴题,用了列表的页面可能本来就写得更清楚。大家想知道的是:同一个页面,只改顺序或者只改格式,被引用的情况会不会变?

Search Engine Journal在9月17日的报道里介绍了一篇专门做这件事的论文。这篇以那篇报道和论文原文为主体,讲清楚实验设计、三个主要结果,以及哪些结论能用、哪些不能用。

这个实验到底控制了什么?

论文叫CiteChoice,作者是Sriram Selvam和Anneswa Ghosh。arXiv提交记录显示第一版提交于2026年9月14日,属于计算语言学方向,没经过同行评审。

研究的问题有个专门的名字,叫引用分配:好几个检索到的来源都支持同一个说法,回答引擎为什么引用了一些、没引用另一些。

先让智能体自己搜一遍

研究者让一个会调用工具的GPT-5.4智能体回答130个日常问题。智能体自己决定搜什么、看结果、再搜,每次搜索调用Exa返回5条结果,每条带最多1万个字符的页面文字。130个问题完成了129个,一共发出346次搜索,涉及1490个不同的文档,每个问题中位数12个。答案引用很密,中位数是每个答案29个引用标记,分布在6个不同文档上。

所有对话和搜索结果都被完整存档。这一点是整个实验的地基。

再挑出“势均力敌”的两个页面

从这些存档里,研究者找同一次搜索里出现的两个页面,而且两个页面都能支持同一个事先指定的事实。判断“支持”的标准很严,必须能在存档文本里找到原句。挑选时不看排名,也不看答案最后引用了谁。

最后有113对进入重放,盲审的人工复核确认其中103对,两个页面争的确实是同一个事实。这样挑出来的两个页面,论文的意思是:谁被引用都说得通。

然后每次只改一个地方

重放时,对话的其他部分逐字节不变,并用哈希校验。只改两样东西之一:两个页面在那次搜索结果里的先后顺序,或者目标页面的文字呈现方式。呈现方式有两种,一种是连续段落的通顺散文,一种是带小标题、短段落、列表或表格的结构化文本。两个版本都由模型改写生成,要求保留所有说法、数量、实体、限定条件和出处,再由另一轮盲审检查事实有没有走样。

2乘2一共四种组合,每次只重新生成最后的答案。

它和以往的GEO研究有什么不同

做GEO的人大多听说过2024年那篇GEO论文,作者是Aggarwal等人,发表在KDD会议上,结论是修改内容可以提高在生成式引擎里的可见度。之后还有FeatGEO这类研究,在多个引擎上优化结构、内容和语言特征。论文把这些归为优化研究:在构造的或真实的页面上改动,看整体可见度的变化。

CiteChoice换了一个角度。它把“这个来源支不支持这句话”用构造固定住,两个页面都支持,只看引用标记最后落在谁身上。论文强调它研究的是可见的引用功劳,不是模型实际依赖了哪个来源。前人研究也指出过,引用标记挂得对,不代表模型真的依据了这个来源。

关于位置,已有研究发现长上下文模型对不同位置的证据利用不均衡,也会被无关内容干扰;但在更接近真实的检索增强场景里,位置效应比人工构造的实验小。CiteChoice的结果和后者方向一致。

实验环节数字
日常问题130个,完成129个
搜索调用346次,每次返回5条Exa结果
涉及文档1490个不同文档
每个答案的引用标记中位数29个,分布在6个文档上
进入重放的页面对113对,人工盲审确认103对
重放设计顺序(前或后)乘以呈现(散文或结构化),共4种

改写主要由Grok 4.3完成,只有一对用了GPT-5.4兜底。作者自己也指出,两个版本措辞不同,所以这个实验比的是“两种改写”,没能把格式这一个因素完全单独剥出来。

排第一的页面真的更容易被引用吗?

先看原始数据。在存档的对话里,排在一次搜索第1位的页面,被引用的比例是85.1%;排在第5位的,是42.8%。差了42.3个百分点,看上去位置几乎决定一切。

注意这里的“位置”,指的是一次Exa搜索返回的5条结果里的先后,不是Google排名,也不是网页在公开互联网上的位置。

论文接着指出了这个数字的问题:搜索引擎本来就会把更相关的页面放在前面。42.3个百分点里,混着位置的作用,也混着页面本身质量的差别,分不开。

把顺序对调之后

受控实验里,把同一个页面在一对里往前挪,它至少被引用一次的概率上升了7.9个百分点。可在对多项检验做了校正之后,这个结果不显著。

研究者又拿了另外56对,只做顺序对调,结果是0.0个百分点,95%置信区间从负5.4到正5.4。

两组数字放在一起:原始差距42.3个点,受控对调7.9个点(不显著),另一批0个点。论文的解读比较克制:位置在某些情况下确实影响引用,但用原始位置数据算出来的平均差距靠不住。原始差距和对调结果量的根本不是一个东西。

这对日常工作的启发很直接。你看到“排名前三的页面占了AI引用的多少多少”,最多说明排名和引用一起出现,说明不了把你的页面往前挪就能多拿多少引用。

改成小标题加列表,能多拿引用吗?

这是做内容的人最关心的部分,结果也最容易被误读。

结构化版本的页面,比同一个页面的散文版本,平均每个答案多拿0.50个引用标记,95%置信区间0.20到0.84,做了多重比较校正后依然显著。

但有两个细节要一起看。每个答案的总引用数没有增加,竞争页面拿到的引用也几乎没少。作者的理解是:引用的功劳更集中到了被改写的那个页面上,答案里同一个页面被反复标注的次数多了。

研究者事先定好的主要指标,是目标页面“至少被引用一次”的概率。这个指标上,结构化版本高了4.5个百分点,95%置信区间从负1.4到正10.4,没有定论。论文还说明,以这次的样本量和波动,只有大约8.5个百分点以上的效应才有八成把握测出来。

指标结构化相对散文的变化能不能下结论
目标页面的引用标记数每个答案多0.50个显著
答案的总引用数没有增加没有变化
竞争页面拿到的引用几乎没变没有变化
目标页面至少被引用一次多4.5个百分点不确定,区间跨过0

用一句大白话概括:已经会被引用的页面,写成结构化之后,可能会被多标几次;原本不被引用的页面,靠改格式能不能挤进答案,这个实验没证明。

只改排版、一个字不动,结果翻了

想更纯粹地测格式,研究者还做了一个机械重排:散文版本的每个字都不动,只是改成每句一行的列表。这一步没有任何模型参与,内容一致是由构造保证的。

在全部113对上,这种重排把“至少被引用一次”的概率提高了6.7个百分点,95%置信区间1.1到12.4,看着像模像样。可在30组做重复测试的样本上,初次结果是负1.7个点,重新生成后是负8.3个点,方向反了。作者的结论是:排版方式可能有影响,但谈不上稳定的列表符号机制。

为什么格式会被模型看到

很多人以为AI读网页时只读纯文字,格式早就丢了。论文查了存档里1750条Exa返回的文本记录:99.8%带换行,93.2%带Markdown风格的标题,76.6%带列表符号,21.3%带竖线分隔的表格行。视觉排版、字体和网页结构会丢,可文字层面的组织方式大多被保留下来,进了模型的上下文。

这也是这个实验能成立的前提。至于你在自己网站上改了排版,经过真实的抓取、检索、提取之后还剩多少,论文明确说没测。

同样的输入重跑一遍,结果为什么会变?

这部分是我觉得整篇论文最值得每个做AI可见度的人读的。

研究者拿30组样本、每组4种组合,一共120个回答,用完全相同的输入重新生成。目标页面引用与否的决定,有15%发生了翻转,大约七分之一。平均的引用数效应在重跑中保持一致,可单次生成的效应里,估计有45%的波动来自模型生成本身的随机性。

换成日常场景就是:你今天测了一次,发现改版后的页面被引用了,明天什么都不改再测一次,有不小的概率它又不被引用了。单次结果拿来判定“赢了”还是“输了”,基础很薄。

SEJ在报道里补了一个旁证:SparkToro在今年1月的研究里发现,同一个提示词反复问,ChatGPT和Google的AI概览给出完全相同品牌列表的情况不到1%,列表和顺序都相同的不到0.1%。那项研究的12个提示词在每个平台上各跑了60到100次。站内AI可见度排名每次查都不一样那篇,讲的也是这件事。

作者的建议很朴素:引用测试要多跑几次,并且把几次之间的一致程度一起报告出来。

看懂这几个统计说法

论文和报道里反复出现几个词,用大白话说一下。95%置信区间,可以理解成“真实效果大概率落在这个范围里”,区间要是跨过了0,就说明效果可能是正的、可能是负的,也可能根本没有。多重检验校正,是因为一次比较很多项指标,总会有几项碰巧显得显著,校正就是把这种“碰巧”扣掉。百分点和百分比也要分清,从42.8%到85.1%是差42.3个百分点,不是差42.3%。

拿这几个词回头看结论:引用标记数那项区间是0.20到0.84,没跨0,所以显著;至少被引用一次那项是负1.4到正10.4,跨了0,所以不确定。

换一个模型试试

研究者用Grok 4.3把存档的搜索重放了一遍,结构化改写的效果方向一致。但Grok第一次回答里,不到一半按要求的格式标注了引用,这部分结果只能当参考。

论文自己承认的局限

作者在局限部分写得很具体。所有估计都基于一个检索提供方(Exa,每次5条结果,文字有长度上限)、一个智能体和一套它自己产生的对话。冻结重放测不出出版方改网页会不会改变检索结果、后续搜索轮次或真实排名。Grok那组检查复用的是GPT产生的对话,而且多数回答需要修补格式。闭源模型即使记录了版本和参数,也可能悄悄变化。

统计上,主分析只有89个独立的答案和目标组合,在主要指标上两种版本结果不同的只有28个。所以那4.5个百分点,论文的定性是“未解决”,既不能说有用,也不能说没用。

这篇论文对SEO和GEO工作意味着什么?

作者在讨论部分写了一句话,SEJ也专门引用了:这是归因敏感性的警告,不是优化技巧。这句话决定了该怎么用这篇论文。

它能说明的

  • 在冻结的对话里,页面的呈现方式能实实在在地重新分配可见的引用功劳,结构化文本会让功劳更集中到该页面上。
  • 原始的位置差距,远大于受控对调后的效应,用观察数据推断“排第几就能拿多少引用”不可靠。
  • 引用评估有可测量的噪声,单次生成的结果有相当一部分是随机波动。

它说明不了的

  • 改网页格式能让页面更容易“被选中”进答案。主要指标没有定论。
  • 纯粹的格式机制。改写版本措辞不同,机械重排的结果在重复测试中反转。
  • 普遍的排名优势。另一批样本的对调效应是0。
  • 真实网站上的效果。实验只改了已经被检索到的文字,抓取、检索、排序这些环节都不在实验里。
  • 其他模型和搜索引擎上的表现。实验只用了一个GPT-5.4智能体加Exa搜索。

和结构化数据那类结论放在一起看

SEJ把这篇论文和Ahrefs今年5月的一份报告放在一起讲。Ahrefs发现,被AI引用的页面带JSON-LD结构化数据的可能性大约是三倍,但给页面加上结构化数据,并没有明显增加引用。两项研究指向同一个问题:一个相关性数字,有没有被实际改变变量来检验过?

Ahrefs那次结构化数据测试怎么做的

按SEJ 5月的报道,Ahrefs先分析了600万个网址,发现被AI引用的页面带JSON-LD的可能性大约是三倍。然后它跟踪了1885个新加上JSON-LD的页面,每个配三个从没加过、引用水平相近的其他域名页面当对照,比较加之前和之后各30天的引用变化。

结果是:AI概览负4.6%,AI模式正2.4%,ChatGPT正2.2%。后两个小到和随机波动分不开,AI概览那个下降,Ahrefs说可能是小的负面影响,也可能是巧合。另外三项补充测试也都没发现明确的正面或负面效果。

这份报告有个前提要记住:样本里每个页面加结构化数据之前,都已经有100次以上的AI概览引用,本来就在AI的视野里。对还没被AI看到的页面,结构化数据有没有帮助,这份数据回答不了。

报告里还引用了searchVIU的一个实验:让五个AI系统实时抓取网页,结果都只提取了可见的HTML文字,JSON-LD、微数据和RDFa都被忽略。这个实验测的是实时抓取,不能说明结构化数据在训练、索引或检索环节有没有作用。它和CiteChoice发现的“文字层面的结构会被保留”放在一起看,能看出一个规律:模型读到的是正文文字和它的组织方式,藏在代码里的标注不一定读得到。

这个问题可以拿去问任何工具商的报告,也可以拿来问自己的监测数据。站内AI引用测试怎么证明因果和给GEO建议配对照组两篇,讲的是怎么自己动手做这种检验。

那内容要不要写成结构化的

可以写,理由不必押在“AI会多引用”上。小标题、短段落、列表和表格,首先方便人读,这一点没有争议。这项研究额外给的信息是:这些文字层面的结构,大概率会被检索工具保留下来送进模型,而且有可能让已经被引用的页面拿到更多标注。内容怎么切成便于检索的块,可以看内容分块优化那篇;清单体文章的写法,清单体写作指南里有。

不该做的,是把一篇本来适合连贯论述的文章硬改成一堆列表,指望引用率翻倍。这项研究里,就连一个字不改的机械重排,效果都会在重复测试中掉头。

想自己做一次对照测试,可以这样设计

论文的方法离普通团队有点远,但思路可以借。比如想知道给某篇文章加上小标题和对比表,会不会影响它在AI答案里被引用:

  • 选一批你的页面已经能被检索到的问题,最好二三十个,别只挑一个。
  • 改动前,每个问题在同一个AI产品里问三到五次,记下你的页面被引用了几次、每次引用标记有几个。
  • 只改一个变量,比如只加小标题和表格,正文措辞尽量不动,日期、数据都不碰。
  • 等页面被重新抓取后,用同样的问题、同样的次数再问一轮。
  • 同时找几篇不做任何改动的同类页面当对照组,一起记录。
  • 比较时分开看两个指标:至少被引用一次的比例,和平均引用标记数。两者变化方向可能不同。

就算这样做,真实网页的测试也比论文多了抓取、检索、排序几道变量,结果只能当参考。要是对照组的波动和改动组差不多大,就别急着下结论。

外贸站和独立站可以怎么落地

B2B外贸站的产品参数、认证、交期、起订量,天然适合用表格和列表表达,这类信息写成结构化文字,对采购商和机器都友好,不需要等研究证明。博客和指南类文章,可以在每个小标题下先用一两句话给出结论,再展开解释,结论句写清楚主语和数字,单独摘出来也看得懂。

不要把预算押在“改格式就能进AI答案”上。页面能不能先被检索到,取决于内容是否回答了问题、能不能被正常抓取和收录,这些仍然是前提。格式能做的,是在已经被检索到之后,让你的页面在引用分配里占得更清楚一些。

给监测报告加一条规矩

如果你在给老板或客户做AI可见度报告,这篇论文最实用的一条是:同一个提示词至少跑几次,报告里写清楚几次之间的一致程度。只跑一次就说“我们在这个问题上被引用了”,和抛一次硬币就宣布胜负,差别没有想象中大。AI可见度分数怎么加权、样本怎么取,站内AI可见度分数加权那篇也提醒过同类问题。

常见问题解答

AI引用会偏向搜索结果排在前面的页面吗?

原始数据里排第1的页面被引用比例85.1%,排第5的42.8%。但受控对调同一对页面的顺序后,效应只有7.9个百分点且不显著,另一批样本是0,原始差距大部分来自页面本身更相关。

这里说的排名是Google排名吗?

不是Google排名。论文里的位置指一次Exa搜索返回的5条结果中的先后顺序,和Google排名、网页在公开互联网上的位置都不是一回事。

把文章改成小标题加列表,会被AI引用更多吗?

在实验里,结构化版本平均每个答案多拿0.50个引用标记,但总引用数没变;页面至少被引用一次的概率多4.5个百分点,没有定论。

为什么同样的输入,引用结果会不一样?

模型生成有随机性。研究者用相同输入重跑120个回答,15%的引用决定发生翻转,单次生成效应的波动约45%来自随机性。

论文用的是哪个AI?

主要是一个接了Exa搜索的GPT-5.4智能体,对话离线重放,没有修改真实网页。研究者用Grok 4.3做了补充重放,方向一致,但Grok的引用格式遵循率不到一半。

这项研究能说明改网页格式有用吗?

不能直接说明。实验只改了已经被检索到的文字,没有涉及抓取、检索和排序,作者说这是归因敏感性的警告,不是优化技巧。

AI读网页时还能看到列表和标题吗?

在这项研究用的Exa接口里大多能。1750条返回文本中,93.2%带Markdown风格标题,76.6%带列表符号,21.3%带表格行,视觉排版和网页结构会丢失。

做AI引用测试至少要跑几次?

论文没有给出固定次数,建议多次运行并报告结果的一致程度。考虑到约七分之一的引用决定会在重跑时翻转,单次结果不足以判定成败。

引用标记数和至少被引用一次有什么区别?

引用标记数是一个答案里目标页面被标注了几次,至少被引用一次是这个页面有没有进答案。论文里结构化改写让前者显著增加,后者的变化不确定。

这项研究和GEO论文的结论矛盾吗?

不直接矛盾。2024年的GEO论文研究的是改内容能否提高整体可见度;这篇固定了来源的支持关系,只看引用功劳在两个同样合格的页面之间怎么分配,问的问题不一样。

样本量够大吗?

论文自己说不够大。主分析有89个独立组合,只有约8.5个百分点以上的效应才有八成把握测出来,所以4.5个百分点的结果被定性为未解决。

加结构化数据能提高AI引用吗?

Ahrefs今年5月跟踪1885个新加JSON-LD的页面,和对照组相比,在AI概览、AI模式和ChatGPT上都没有出现明确的引用增长。但这些页面本来就已被AI频繁引用,对新页面的作用这份数据测不出来。

论文经过同行评审了吗?

没有。这是2026年9月14日提交到arXiv的预印本,作者为Sriram Selvam和Anneswa Ghosh。

权威参考资料

分享到
标签
版权声明

本文标题:《AI引用偏向排第一的来源吗?一项重放实验:对调顺序后差距几乎消失,改成小标题列表多拿标注却未必更容易入选》

本文链接:https://zhangwenbao.com/ai-citation-source-order-structured-formatting-study.html

版权声明:本文原创,转载与引用请注明作者与原文链接。许可协议: CC BY 4.0

继续阅读
发表评论
支持 Ctrl + Enter 提交