AI引用偏向排第一的来源吗?一项重放实验:对调顺序后差距几乎消失,改成小标题列表多拿标注却未必更容易入选
本文目录
- 这个实验到底控制了什么?
- 先让智能体自己搜一遍
- 再挑出“势均力敌”的两个页面
- 然后每次只改一个地方
- 它和以往的GEO研究有什么不同
- 排第一的页面真的更容易被引用吗?
- 把顺序对调之后
- 改成小标题加列表,能多拿引用吗?
- 只改排版、一个字不动,结果翻了
- 为什么格式会被模型看到
- 同样的输入重跑一遍,结果为什么会变?
- 看懂这几个统计说法
- 换一个模型试试
- 论文自己承认的局限
- 这篇论文对SEO和GEO工作意味着什么?
- 它能说明的
- 它说明不了的
- 和结构化数据那类结论放在一起看
- Ahrefs那次结构化数据测试怎么做的
- 那内容要不要写成结构化的
- 想自己做一次对照测试,可以这样设计
- 外贸站和独立站可以怎么落地
- 给监测报告加一条规矩
- 常见问题解答
- AI引用会偏向搜索结果排在前面的页面吗?
- 这里说的排名是Google排名吗?
- 把文章改成小标题加列表,会被AI引用更多吗?
- 为什么同样的输入,引用结果会不一样?
- 论文用的是哪个AI?
- 这项研究能说明改网页格式有用吗?
- AI读网页时还能看到列表和标题吗?
- 做AI引用测试至少要跑几次?
- 引用标记数和至少被引用一次有什么区别?
- 这项研究和GEO论文的结论矛盾吗?
- 样本量够大吗?
- 加结构化数据能提高AI引用吗?
- 论文经过同行评审了吗?
- 权威参考资料
摘要:一篇9月14日提交到arXiv的预印本,用一个接了Exa搜索的GPT-5.4智能体回答了129个日常问题,再把对话原样冻结、每次只改一个变量重放。按原始数据看,搜索结果排第1的页面被引用的比例是85.1%,排第5的是42.8%,差了42.3个百分点;把支持同一事实的两个页面对调顺序后,差距只剩7.9个百分点且经多重检验校正后不显著,换一批样本再测是0。把页面文字改写成带小标题和列表的版本,平均每个答案多拿0.50个引用标记,可总引用数没变,“至少被引用一次”的概率只多了4.5个百分点,结论不确定。同样的输入重跑一遍,约七分之一的引用决定会翻转。作者的原话是:这是归因敏感性的警告,不是优化技巧。
做AI可见度的人,几乎都见过这类结论:被AI引用的页面里,多少比例用了结构化数据、多少比例排在搜索结果前几名、多少比例用了列表。数字往往很漂亮,接着就是一条建议:你也照着做。
问题在于,这些数字大多是相关关系。排得靠前的页面本来就更贴题,用了列表的页面可能本来就写得更清楚。大家想知道的是:同一个页面,只改顺序或者只改格式,被引用的情况会不会变?
Search Engine Journal在9月17日的报道里介绍了一篇专门做这件事的论文。这篇以那篇报道和论文原文为主体,讲清楚实验设计、三个主要结果,以及哪些结论能用、哪些不能用。
这个实验到底控制了什么?
论文叫CiteChoice,作者是Sriram Selvam和Anneswa Ghosh。arXiv提交记录显示第一版提交于2026年9月14日,属于计算语言学方向,没经过同行评审。
研究的问题有个专门的名字,叫引用分配:好几个检索到的来源都支持同一个说法,回答引擎为什么引用了一些、没引用另一些。
先让智能体自己搜一遍
研究者让一个会调用工具的GPT-5.4智能体回答130个日常问题。智能体自己决定搜什么、看结果、再搜,每次搜索调用Exa返回5条结果,每条带最多1万个字符的页面文字。130个问题完成了129个,一共发出346次搜索,涉及1490个不同的文档,每个问题中位数12个。答案引用很密,中位数是每个答案29个引用标记,分布在6个不同文档上。
所有对话和搜索结果都被完整存档。这一点是整个实验的地基。
再挑出“势均力敌”的两个页面
从这些存档里,研究者找同一次搜索里出现的两个页面,而且两个页面都能支持同一个事先指定的事实。判断“支持”的标准很严,必须能在存档文本里找到原句。挑选时不看排名,也不看答案最后引用了谁。
最后有113对进入重放,盲审的人工复核确认其中103对,两个页面争的确实是同一个事实。这样挑出来的两个页面,论文的意思是:谁被引用都说得通。
然后每次只改一个地方
重放时,对话的其他部分逐字节不变,并用哈希校验。只改两样东西之一:两个页面在那次搜索结果里的先后顺序,或者目标页面的文字呈现方式。呈现方式有两种,一种是连续段落的通顺散文,一种是带小标题、短段落、列表或表格的结构化文本。两个版本都由模型改写生成,要求保留所有说法、数量、实体、限定条件和出处,再由另一轮盲审检查事实有没有走样。
2乘2一共四种组合,每次只重新生成最后的答案。
它和以往的GEO研究有什么不同
做GEO的人大多听说过2024年那篇GEO论文,作者是Aggarwal等人,发表在KDD会议上,结论是修改内容可以提高在生成式引擎里的可见度。之后还有FeatGEO这类研究,在多个引擎上优化结构、内容和语言特征。论文把这些归为优化研究:在构造的或真实的页面上改动,看整体可见度的变化。
CiteChoice换了一个角度。它把“这个来源支不支持这句话”用构造固定住,两个页面都支持,只看引用标记最后落在谁身上。论文强调它研究的是可见的引用功劳,不是模型实际依赖了哪个来源。前人研究也指出过,引用标记挂得对,不代表模型真的依据了这个来源。
关于位置,已有研究发现长上下文模型对不同位置的证据利用不均衡,也会被无关内容干扰;但在更接近真实的检索增强场景里,位置效应比人工构造的实验小。CiteChoice的结果和后者方向一致。
| 实验环节 | 数字 |
|---|---|
| 日常问题 | 130个,完成129个 |
| 搜索调用 | 346次,每次返回5条Exa结果 |
| 涉及文档 | 1490个不同文档 |
| 每个答案的引用标记 | 中位数29个,分布在6个文档上 |
| 进入重放的页面对 | 113对,人工盲审确认103对 |
| 重放设计 | 顺序(前或后)乘以呈现(散文或结构化),共4种 |
改写主要由Grok 4.3完成,只有一对用了GPT-5.4兜底。作者自己也指出,两个版本措辞不同,所以这个实验比的是“两种改写”,没能把格式这一个因素完全单独剥出来。
排第一的页面真的更容易被引用吗?
先看原始数据。在存档的对话里,排在一次搜索第1位的页面,被引用的比例是85.1%;排在第5位的,是42.8%。差了42.3个百分点,看上去位置几乎决定一切。
注意这里的“位置”,指的是一次Exa搜索返回的5条结果里的先后,不是Google排名,也不是网页在公开互联网上的位置。
论文接着指出了这个数字的问题:搜索引擎本来就会把更相关的页面放在前面。42.3个百分点里,混着位置的作用,也混着页面本身质量的差别,分不开。
把顺序对调之后
受控实验里,把同一个页面在一对里往前挪,它至少被引用一次的概率上升了7.9个百分点。可在对多项检验做了校正之后,这个结果不显著。
研究者又拿了另外56对,只做顺序对调,结果是0.0个百分点,95%置信区间从负5.4到正5.4。
两组数字放在一起:原始差距42.3个点,受控对调7.9个点(不显著),另一批0个点。论文的解读比较克制:位置在某些情况下确实影响引用,但用原始位置数据算出来的平均差距靠不住。原始差距和对调结果量的根本不是一个东西。
这对日常工作的启发很直接。你看到“排名前三的页面占了AI引用的多少多少”,最多说明排名和引用一起出现,说明不了把你的页面往前挪就能多拿多少引用。
改成小标题加列表,能多拿引用吗?
这是做内容的人最关心的部分,结果也最容易被误读。
结构化版本的页面,比同一个页面的散文版本,平均每个答案多拿0.50个引用标记,95%置信区间0.20到0.84,做了多重比较校正后依然显著。
但有两个细节要一起看。每个答案的总引用数没有增加,竞争页面拿到的引用也几乎没少。作者的理解是:引用的功劳更集中到了被改写的那个页面上,答案里同一个页面被反复标注的次数多了。
研究者事先定好的主要指标,是目标页面“至少被引用一次”的概率。这个指标上,结构化版本高了4.5个百分点,95%置信区间从负1.4到正10.4,没有定论。论文还说明,以这次的样本量和波动,只有大约8.5个百分点以上的效应才有八成把握测出来。
| 指标 | 结构化相对散文的变化 | 能不能下结论 |
|---|---|---|
| 目标页面的引用标记数 | 每个答案多0.50个 | 显著 |
| 答案的总引用数 | 没有增加 | 没有变化 |
| 竞争页面拿到的引用 | 几乎没变 | 没有变化 |
| 目标页面至少被引用一次 | 多4.5个百分点 | 不确定,区间跨过0 |
用一句大白话概括:已经会被引用的页面,写成结构化之后,可能会被多标几次;原本不被引用的页面,靠改格式能不能挤进答案,这个实验没证明。
只改排版、一个字不动,结果翻了
想更纯粹地测格式,研究者还做了一个机械重排:散文版本的每个字都不动,只是改成每句一行的列表。这一步没有任何模型参与,内容一致是由构造保证的。
在全部113对上,这种重排把“至少被引用一次”的概率提高了6.7个百分点,95%置信区间1.1到12.4,看着像模像样。可在30组做重复测试的样本上,初次结果是负1.7个点,重新生成后是负8.3个点,方向反了。作者的结论是:排版方式可能有影响,但谈不上稳定的列表符号机制。
为什么格式会被模型看到
很多人以为AI读网页时只读纯文字,格式早就丢了。论文查了存档里1750条Exa返回的文本记录:99.8%带换行,93.2%带Markdown风格的标题,76.6%带列表符号,21.3%带竖线分隔的表格行。视觉排版、字体和网页结构会丢,可文字层面的组织方式大多被保留下来,进了模型的上下文。
这也是这个实验能成立的前提。至于你在自己网站上改了排版,经过真实的抓取、检索、提取之后还剩多少,论文明确说没测。
同样的输入重跑一遍,结果为什么会变?
这部分是我觉得整篇论文最值得每个做AI可见度的人读的。
研究者拿30组样本、每组4种组合,一共120个回答,用完全相同的输入重新生成。目标页面引用与否的决定,有15%发生了翻转,大约七分之一。平均的引用数效应在重跑中保持一致,可单次生成的效应里,估计有45%的波动来自模型生成本身的随机性。
换成日常场景就是:你今天测了一次,发现改版后的页面被引用了,明天什么都不改再测一次,有不小的概率它又不被引用了。单次结果拿来判定“赢了”还是“输了”,基础很薄。
SEJ在报道里补了一个旁证:SparkToro在今年1月的研究里发现,同一个提示词反复问,ChatGPT和Google的AI概览给出完全相同品牌列表的情况不到1%,列表和顺序都相同的不到0.1%。那项研究的12个提示词在每个平台上各跑了60到100次。站内AI可见度排名每次查都不一样那篇,讲的也是这件事。
作者的建议很朴素:引用测试要多跑几次,并且把几次之间的一致程度一起报告出来。
看懂这几个统计说法
论文和报道里反复出现几个词,用大白话说一下。95%置信区间,可以理解成“真实效果大概率落在这个范围里”,区间要是跨过了0,就说明效果可能是正的、可能是负的,也可能根本没有。多重检验校正,是因为一次比较很多项指标,总会有几项碰巧显得显著,校正就是把这种“碰巧”扣掉。百分点和百分比也要分清,从42.8%到85.1%是差42.3个百分点,不是差42.3%。
拿这几个词回头看结论:引用标记数那项区间是0.20到0.84,没跨0,所以显著;至少被引用一次那项是负1.4到正10.4,跨了0,所以不确定。
换一个模型试试
研究者用Grok 4.3把存档的搜索重放了一遍,结构化改写的效果方向一致。但Grok第一次回答里,不到一半按要求的格式标注了引用,这部分结果只能当参考。
论文自己承认的局限
作者在局限部分写得很具体。所有估计都基于一个检索提供方(Exa,每次5条结果,文字有长度上限)、一个智能体和一套它自己产生的对话。冻结重放测不出出版方改网页会不会改变检索结果、后续搜索轮次或真实排名。Grok那组检查复用的是GPT产生的对话,而且多数回答需要修补格式。闭源模型即使记录了版本和参数,也可能悄悄变化。
统计上,主分析只有89个独立的答案和目标组合,在主要指标上两种版本结果不同的只有28个。所以那4.5个百分点,论文的定性是“未解决”,既不能说有用,也不能说没用。
这篇论文对SEO和GEO工作意味着什么?
作者在讨论部分写了一句话,SEJ也专门引用了:这是归因敏感性的警告,不是优化技巧。这句话决定了该怎么用这篇论文。
它能说明的
- 在冻结的对话里,页面的呈现方式能实实在在地重新分配可见的引用功劳,结构化文本会让功劳更集中到该页面上。
- 原始的位置差距,远大于受控对调后的效应,用观察数据推断“排第几就能拿多少引用”不可靠。
- 引用评估有可测量的噪声,单次生成的结果有相当一部分是随机波动。
它说明不了的
- 改网页格式能让页面更容易“被选中”进答案。主要指标没有定论。
- 纯粹的格式机制。改写版本措辞不同,机械重排的结果在重复测试中反转。
- 普遍的排名优势。另一批样本的对调效应是0。
- 真实网站上的效果。实验只改了已经被检索到的文字,抓取、检索、排序这些环节都不在实验里。
- 其他模型和搜索引擎上的表现。实验只用了一个GPT-5.4智能体加Exa搜索。
和结构化数据那类结论放在一起看
SEJ把这篇论文和Ahrefs今年5月的一份报告放在一起讲。Ahrefs发现,被AI引用的页面带JSON-LD结构化数据的可能性大约是三倍,但给页面加上结构化数据,并没有明显增加引用。两项研究指向同一个问题:一个相关性数字,有没有被实际改变变量来检验过?
Ahrefs那次结构化数据测试怎么做的
按SEJ 5月的报道,Ahrefs先分析了600万个网址,发现被AI引用的页面带JSON-LD的可能性大约是三倍。然后它跟踪了1885个新加上JSON-LD的页面,每个配三个从没加过、引用水平相近的其他域名页面当对照,比较加之前和之后各30天的引用变化。
结果是:AI概览负4.6%,AI模式正2.4%,ChatGPT正2.2%。后两个小到和随机波动分不开,AI概览那个下降,Ahrefs说可能是小的负面影响,也可能是巧合。另外三项补充测试也都没发现明确的正面或负面效果。
这份报告有个前提要记住:样本里每个页面加结构化数据之前,都已经有100次以上的AI概览引用,本来就在AI的视野里。对还没被AI看到的页面,结构化数据有没有帮助,这份数据回答不了。
报告里还引用了searchVIU的一个实验:让五个AI系统实时抓取网页,结果都只提取了可见的HTML文字,JSON-LD、微数据和RDFa都被忽略。这个实验测的是实时抓取,不能说明结构化数据在训练、索引或检索环节有没有作用。它和CiteChoice发现的“文字层面的结构会被保留”放在一起看,能看出一个规律:模型读到的是正文文字和它的组织方式,藏在代码里的标注不一定读得到。
这个问题可以拿去问任何工具商的报告,也可以拿来问自己的监测数据。站内AI引用测试怎么证明因果和给GEO建议配对照组两篇,讲的是怎么自己动手做这种检验。
那内容要不要写成结构化的
可以写,理由不必押在“AI会多引用”上。小标题、短段落、列表和表格,首先方便人读,这一点没有争议。这项研究额外给的信息是:这些文字层面的结构,大概率会被检索工具保留下来送进模型,而且有可能让已经被引用的页面拿到更多标注。内容怎么切成便于检索的块,可以看内容分块优化那篇;清单体文章的写法,清单体写作指南里有。
不该做的,是把一篇本来适合连贯论述的文章硬改成一堆列表,指望引用率翻倍。这项研究里,就连一个字不改的机械重排,效果都会在重复测试中掉头。
想自己做一次对照测试,可以这样设计
论文的方法离普通团队有点远,但思路可以借。比如想知道给某篇文章加上小标题和对比表,会不会影响它在AI答案里被引用:
- 选一批你的页面已经能被检索到的问题,最好二三十个,别只挑一个。
- 改动前,每个问题在同一个AI产品里问三到五次,记下你的页面被引用了几次、每次引用标记有几个。
- 只改一个变量,比如只加小标题和表格,正文措辞尽量不动,日期、数据都不碰。
- 等页面被重新抓取后,用同样的问题、同样的次数再问一轮。
- 同时找几篇不做任何改动的同类页面当对照组,一起记录。
- 比较时分开看两个指标:至少被引用一次的比例,和平均引用标记数。两者变化方向可能不同。
就算这样做,真实网页的测试也比论文多了抓取、检索、排序几道变量,结果只能当参考。要是对照组的波动和改动组差不多大,就别急着下结论。
外贸站和独立站可以怎么落地
B2B外贸站的产品参数、认证、交期、起订量,天然适合用表格和列表表达,这类信息写成结构化文字,对采购商和机器都友好,不需要等研究证明。博客和指南类文章,可以在每个小标题下先用一两句话给出结论,再展开解释,结论句写清楚主语和数字,单独摘出来也看得懂。
不要把预算押在“改格式就能进AI答案”上。页面能不能先被检索到,取决于内容是否回答了问题、能不能被正常抓取和收录,这些仍然是前提。格式能做的,是在已经被检索到之后,让你的页面在引用分配里占得更清楚一些。
给监测报告加一条规矩
如果你在给老板或客户做AI可见度报告,这篇论文最实用的一条是:同一个提示词至少跑几次,报告里写清楚几次之间的一致程度。只跑一次就说“我们在这个问题上被引用了”,和抛一次硬币就宣布胜负,差别没有想象中大。AI可见度分数怎么加权、样本怎么取,站内AI可见度分数加权那篇也提醒过同类问题。
常见问题解答
AI引用会偏向搜索结果排在前面的页面吗?
原始数据里排第1的页面被引用比例85.1%,排第5的42.8%。但受控对调同一对页面的顺序后,效应只有7.9个百分点且不显著,另一批样本是0,原始差距大部分来自页面本身更相关。
这里说的排名是Google排名吗?
不是Google排名。论文里的位置指一次Exa搜索返回的5条结果中的先后顺序,和Google排名、网页在公开互联网上的位置都不是一回事。
把文章改成小标题加列表,会被AI引用更多吗?
在实验里,结构化版本平均每个答案多拿0.50个引用标记,但总引用数没变;页面至少被引用一次的概率多4.5个百分点,没有定论。
为什么同样的输入,引用结果会不一样?
模型生成有随机性。研究者用相同输入重跑120个回答,15%的引用决定发生翻转,单次生成效应的波动约45%来自随机性。
论文用的是哪个AI?
主要是一个接了Exa搜索的GPT-5.4智能体,对话离线重放,没有修改真实网页。研究者用Grok 4.3做了补充重放,方向一致,但Grok的引用格式遵循率不到一半。
这项研究能说明改网页格式有用吗?
不能直接说明。实验只改了已经被检索到的文字,没有涉及抓取、检索和排序,作者说这是归因敏感性的警告,不是优化技巧。
AI读网页时还能看到列表和标题吗?
在这项研究用的Exa接口里大多能。1750条返回文本中,93.2%带Markdown风格标题,76.6%带列表符号,21.3%带表格行,视觉排版和网页结构会丢失。
做AI引用测试至少要跑几次?
论文没有给出固定次数,建议多次运行并报告结果的一致程度。考虑到约七分之一的引用决定会在重跑时翻转,单次结果不足以判定成败。
引用标记数和至少被引用一次有什么区别?
引用标记数是一个答案里目标页面被标注了几次,至少被引用一次是这个页面有没有进答案。论文里结构化改写让前者显著增加,后者的变化不确定。
这项研究和GEO论文的结论矛盾吗?
不直接矛盾。2024年的GEO论文研究的是改内容能否提高整体可见度;这篇固定了来源的支持关系,只看引用功劳在两个同样合格的页面之间怎么分配,问的问题不一样。
样本量够大吗?
论文自己说不够大。主分析有89个独立组合,只有约8.5个百分点以上的效应才有八成把握测出来,所以4.5个百分点的结果被定性为未解决。
加结构化数据能提高AI引用吗?
Ahrefs今年5月跟踪1885个新加JSON-LD的页面,和对照组相比,在AI概览、AI模式和ChatGPT上都没有出现明确的引用增长。但这些页面本来就已被AI频繁引用,对新页面的作用这份数据测不出来。
论文经过同行评审了吗?
没有。这是2026年9月14日提交到arXiv的预印本,作者为Sriram Selvam和Anneswa Ghosh。
权威参考资料
本文标题:《AI引用偏向排第一的来源吗?一项重放实验:对调顺序后差距几乎消失,改成小标题列表多拿标注却未必更容易入选》
本文链接:https://zhangwenbao.com/ai-citation-source-order-structured-formatting-study.html
版权声明:本文原创,转载与引用请注明作者与原文链接。许可协议: CC BY 4.0