Google查询扇出新框架R4T：让5390万参数的扩散模型替大模型想子查询

摘要：Google Research在9月15日的博客里介绍了一个叫Retrieve-for-Train（简称R4T）的查询扇出框架，对应论文今年3月发在arXiv上，入选ICML 2026。它分三步：先用强化学习把一个40亿参数的语言模型训练成会拆子查询的扇出模型，再让这个模型离线批量生成训练数据，最后用这些数据训练一个只有5390万参数的扩散模型，查询进来后一次性在向量空间里生成10个检索方向。论文测得它比逐字生成的大模型扇出快12到20倍，批量1024条时大模型要接近50秒，扩散模型4.21秒。实验用的是时尚搭配和音乐歌单数据，Google没有说它已经用在搜索里。

查询扇出这个词，做GEO的人这一年听得耳朵都快起茧了。Google在AI模式里用它，ChatGPT联网搜索也在用：用户问一句大问题，系统在后台拆出好几个小问题分头去搜，再把结果拼成一个回答。

可这里一直有个工程上的麻烦。让大模型拆问题，它得先想一阵，一个字一个字往外吐子查询，用户在搜索框前面等着。想得越周全越慢，想得快了又容易拆出一堆换汤不换药的近义词。

Search Engine Journal的Roger Montti在9月24日的报道里介绍了Google给出的一个解法。这篇以那篇报道为主体，对照Google Research的博客和论文原文，把R4T是什么、怎么训练、数据怎么读、离Google搜索还有多远讲清楚，最后说说做内容的人能从里面看到什么。

R4T到底是个什么东西？

名字和出处

R4T是Retrieve-for-Train的缩写，直译过来是“为训练而检索”。Google Research在9月15日的博客里介绍了它，署名是学生研究员Pengcheng Jiang和高级研究工程师Judith Yue Li。博客标题的意思是绕开推理瓶颈，加速复杂的AI搜索。

论文题目是《Efficient, Property-Aligned Fan-Out Retrieval via RL-Compiled Diffusion》，大意是用强化学习编译出来的扩散模型，做高效、符合目标属性的扇出检索。arXiv记录显示提交于2026年3月6日，作者一共11位，博客里说它是ICML 2026的论文。从论文挂出来到博客介绍，中间隔了半年。

它想解决的问题

博客开头举了个很好懂的例子。有人搜“露营装备”，十款大同小异的四人帐篷他用不上，他想要一组互相搭配的东西：帐篷、睡袋、便携炉、头灯。

论文把这类需求叫作集合型检索。好不好，不看单条结果，要看整组结果合在一起：够不够多样，覆盖面全不全，彼此能不能互补，放在一起协不协调，而且每一条都得是数据库里真实存在的东西。传统的检索训练只看单条结果和查询相不相关，这些整组才有的属性它管不到。

三步流程

R4T把这件事分成三步，博客和论文的说法一致：

说白了，就是让大模型在线下慢慢练、慢慢想，把练出来的本事写成一大本题库，再让一个小模型照着题库学。真到用户搜索的时候，上场的只有那个小模型。

论文管这个思路叫把强化学习当成“目标转换器”只用一次：用户要多样、要贴题、要真实存在，这些写不进普通训练数据的要求，先靠强化学习变成一条条具体的训练样本，后面的事就交给普通的监督学习。SEJ把它归到知识蒸馏的路子上，大模型的行为迁移给小模型，这个说法没问题，只是R4T蒸馏的对象是一个先被强化学习调教过的扇出模型。

普通大模型做扇出，卡在哪两件事上？

博客专门用了一节讲为什么不直接拿现成的大模型来拆查询，给了两个原因。

拆出来的子查询都是近义词

Google管这个现象叫释义坍缩。没有针对数据库做过优化的大模型，拆查询时爱偷懒，围着原词打转。博客的例子是“波西米亚音乐节风格”，普通模型可能拆出“波西米亚音乐节时装”“波西米亚音乐节服饰”，三个说法检索回来的东西几乎一样。

懂行的时尚编辑会怎么拆？流苏夹克、钩针连衣裙、麂皮靴子。这些才是不同的方向，各自能搜回一批不重样的结果。论文里R4T给出的子查询，也确实分到了“草编靴子”“蕾丝波西米亚”这样的方向上。

逐字生成太慢

第二个问题是速度。大模型生成文字是一个字一个字往外吐的，术语叫自回归。想把一个复杂查询拆周全，模型往往要先生成几百个推理用的中间字，规划好了才输出真正的子查询。

聊天的时候多等几秒没人在意，搜索框可不行。博客的原话是，这种逐字生成的架构有一个延迟下限，和搜索栏要求的亚秒级响应根本对不上。要一次拆出一大组子查询，处理上下文和生成推理字的开销叠在一起，规模一大就扛不住。

这两个问题还互相拧着：要拆得好就得多想，多想就慢；要快就少想，少想就容易拆出一堆近义词。R4T的办法是把“想”这件事整个挪到线下去做。

三项奖励为什么要互相牵制？

R4T好不好用，全看第一步那个奖励怎么设计。博客说，开放式检索任务里的奖励由三项加权组成：

这张表的第三列是博客自己讲的，读着挺有意思。只奖励落地性，模型学会了钻空子：论文消融实验里它生成过“line ending line ending”这种毫无意义的字符串，只因为这串字在数学上能对准数据库里的某个坐标。补上贴题度，乱码没了，模型又开始复读原问题。最后加进Vendi分数当多样性的锚，三项互相拽着，模型才被逼到一个既真实、又贴题、又各不相同的区域里去。

Vendi分数是2022年提出的一种多样性指标，可以粗略理解为一组东西里“实际上有几个不同的种类”。十个子查询如果全是近义词，Vendi分数接近1；十个各走一个方向，分数就高。论文里它是拿每个子查询检索到的第一条结果来算的，所以它量的是检索回来的东西够不够多样，字面上换没换词它不管。

训练算法用的是带软PPO正则的GRPO，也就是Soft-GRPO。这个细节对做SEO的人意义不大，记住一点就够了：三项奖励的权重要平衡，论文说平衡的权重能让三个分数一起稳定收敛，这里面有探索和忠于原意之间的取舍。

实验数据怎么读，哪些地方要打问号？

测的是什么数据

这一点SEJ的报道没有展开，可它对理解结论很关键：R4T的实验没有用网页数据。

论文用了两个数据集。一个是Polyvore，用户自己搭配的服装组合，每套搭配里有上衣、下装、鞋子、配饰，用来做文字搜图片的实验；候选池在第一个任务里是21888个搭配，第二个任务里是142472件单品。另一个是Google内部的音乐数据，专家编的歌单，候选池8522个歌单。编码器方面，服装用的是基于CLIP的图文模型，音乐用的是Google的MuLan。

两个任务也要分清。开放式抽象检索没有标准答案，只看整组结果的属性。弱监督组合检索给了一个参考集合，但论文自己说这个参考只是“一种合理的实现”，召回低一点不一定是结果差，可能是模型找到了另一组同样合理的答案。

对比了谁

基线有三类：不做扇出、直接拿原查询检索；用没训练过的模型零样本扇出，模型包括Gemini-2.5-Flash、Gemma3-4B和Qwen3-4B；以及Best-of-N，用零样本模型扇出5次，按奖励挑最好的一次。所有扇出方法都固定拆10个子查询。

论文的结论是：零样本扇出比不扇出强，这说明查询扩展确实能覆盖更多方面；Best-of-N又比零样本强很多，说明奖励设计是有用的信号，但它每个查询要跑好几遍，推理成本高一个数量级；R4T在两个数据集、两种底座模型上都拿到了最好的整体表现，而且部署时只跑一次。

速度到底快了多少

博客里“12到20倍”“接近50秒”这些数字，出处是论文里的延迟测试。测法是固定生成10个检索方向，在不同批量下比较墙钟时间：

按这两组数自己除一下，小批量快了大约20倍，大批量快了大约12倍，和论文说的12到20倍对得上。博客说扩散模型“从亚秒级到几秒”，对应的就是0.07秒到4.21秒这个区间。

覆盖和多样性的取舍

弱监督任务的结果里有个现象，论文专门讨论了。大模型类的方法，参考集合的召回越高，Vendi分数往往越低。作者的解释是，强化学习把奖励优化得越狠，模型输出就越集中在少数几个主流方向上，这和近年关于强化学习会降低输出多样性的研究一致。

R4T的两个版本在这里分出了差别：直接用强化学习训练过的扇出模型，召回提高了，多样性降了；蒸馏出来的扩散模型保住了大部分多样性，召回也明显上去了。论文据此认为，把奖励对齐的行为蒸馏进扩散模型，是在覆盖面和语义丰富度之间找平衡的一个实际办法。

论文还给了第二个例子，“劳动节野餐穿搭”。R4T拆出了波西米亚、极简、连体裤这几个方向，搜回来的搭配在版型、配色、配饰上各不相同，又都适合季节和野餐场合；Gemini-2.5-Flash的子查询字面上换了不少花样，检索结果却比较单一。字面多样和结果多样是两回事，这个例子讲得很直观。

这个数字要放回它的口径里看。它比的是扇出这一步的耗时，不是从用户敲回车到看到AI回答的全流程；扩散模型输出的是向量，不是文字子查询，所以论文的表里它没有落地性这一项分数，因为根本没有中间的子查询可评。

论文自己承认的局限

附录A列了四条，写得挺坦白：

• 强化学习那一步要反复调用检索器、计算奖励，训练成本是前置的。数据库特别大或者变化特别快时，这笔前期开销可能很重。
• 它假设想要的检索属性能写成明确的奖励函数。创意、新颖、文化敏感度这类主观偏好，很难压成一个分数。
• 开放式任务的质量部分靠大模型当评委打分，评委模型自带的偏见可能混进结果，作者建议以后加人工评估。
• 结论可能依赖具体选的底座模型、向量空间和扩散架构，换到别的检索系统上效果如何还没验证。

作者的定位也很克制：这是集合型检索可规模化训练的第一步，不是所有可控检索问题的完整答案。

Google搜索已经在用了吗？

没有人能确定。SEJ的报道在这一点上写得很小心，它的推理是这样的：博客说R4T能做到“可直接上生产”的扇出，论文三月就挂出来了，Google却等到九月才专门写博客介绍，等了半年才宣传，可以推测是因为已经部署了。SEJ还提到最近社交媒体上有人说流量涨了、AI模式里链接变多了，也有人怀疑Google有未公布的更新。但报道最后自己补了一句：我们并不确定。

把几处原文放在一起看，能确认的和不能确认的大概是这样：

再补一个背景。Google在2025年推出AI模式时就公开说过，它用查询扇出技术把问题分成子话题，同时替用户发出多个查询；R4T博客里“查询扇出”这个词，链接的正是AI模式的官方介绍页。看得出研究团队是冲着这类产品的需求去的，可“冲着它去”和“已经装进去”中间，还隔着工程评估、质量测试和上线决策好几道门。

“可直接上生产”这句话，在博客里修饰的是延迟：扇出从几十秒降到几秒以内，达到了生产系统能接受的速度。它说明这项技术在速度上够格了，不等于Google宣布它上线了。研究博客介绍论文是Google Research的日常操作，拿发博客这件事推断部署，证据偏弱。

SEJ还注意到一个细节：论文结尾有一段影响声明，博客里没有。论文说奖励函数是人设计的，设计不当可能把训练数据里的偏见编码进去、甚至放大，通过合成数据大规模扩散；实验只做了时尚和音乐这类无害领域，用到敏感场景要先做领域内的偏见审查，并有人工监督。SEJ据此猜测，这半年Google可能在考虑要不要把它用在敏感查询上，或者只用在非敏感查询上。这同样是猜测。

对做内容和GEO的人，能落到哪几件事上？

先泼一盆冷水：一篇用服装和歌单做实验的论文，不能直接翻译成网页排名规则。下面几条是从它的设计思路里能读出来的方向，用的时候要清楚它们是推断。

近义词堆砌，在扇出系统眼里是浪费

R4T花了大力气惩罚的，正是那种把同一个意思换五种说法的子查询。不管Google搜索用不用R4T，好的扇出系统都在往“拆出不同方面”的方向走。对内容来说，一篇文章用十个近义词把同一句话说十遍，在这种系统里大概率只能对上其中一个子查询。值钱的是覆盖真正不同的方面：同一个产品，选型、安装、故障、价格、对比，各是一个方向。站内讲过的查询扇出的多路子查询机制，思路是一致的。

落地性奖励提醒你：得先在库里

R4T的第一项奖励要求每个子查询都对应数据库里真实存在的东西。放到搜索上，数据库就是索引。一个方面你没有专门的页面或段落，扇出拆得再好也落不到你身上。做内容规划时，按用户可能关心的方面检查一遍：哪个方面在站内有能被单独检索到的内容，哪个方面是空的。

向量空间里的距离比字面更要紧

R4T的扩散模型直接在向量空间里生成检索方向，根本不经过文字。这和传统SEO按关键词字面匹配的想法差别很大。站内写过余弦相似度分数能说明什么，也写过用向量嵌入找实体覆盖缺口，这类工具在扇出越来越依赖向量的情况下更有参考价值，但别把某个工具的相似度分数当成Google的打分。

别急着改一套新打法

Google到现在公开讲过的AI模式扇出机制，还是那几句官方描述：把问题分成子话题，同时发出多个查询。AI概览和AI模式的区别那篇整理过已知的部分。R4T告诉我们的是Google研究团队在想什么问题、往哪个方向优化，具体有没有上线、上在哪里，等官方说法。至于AI模式到底给网站带来多少点击，前几天的AI模式随机现场实验给了另一组数字，可以对照着看。

如果想自查一下内容在扇出系统里的覆盖情况，可以照这个顺序做：

1. 挑一个核心问题，让两三个不同的AI助手各拆出10个子问题，合并去重。
2. 把明显是近义改写的子问题归成一组，看剩下几个真正不同的方向。
3. 每个方向搜一下自己的站，看有没有能单独回答它的页面或段落。
4. 空着的方向补内容，已经有好几篇在抢同一个方向的，考虑合并。

拿一个外贸工厂的产品页举例。核心词是“工业除湿机”，近义改写有“工厂除湿机”“车间除湿设备”“商用除湿器”，写进同一页里，对扇出系统来说指向的是同一个方向。真正不同的方面大概是：按车间面积怎么选日除湿量、低温环境能不能用、和空调除湿有什么区别、耗电和运行成本、出口认证和电压规格。这五个方面各自对应一类子问题，站内每个方面有没有能单独被检索到的段落，比堆几个近义词要紧得多。

这套做法不依赖R4T是否上线，用AI助手拆出来的子问题也只是近似，不代表Google内部真实的扇出。它的价值在于逼自己按方面去看内容缺口，别只盯着关键词。

回头看，R4T最有意思的地方是它对“好的扇出”下的定义：真实、贴题、各不相同，三样缺一样模型就会钻空子。这和一份好的内容规划要满足的条件，其实挺像的。

常见问题解答

R4T是什么的缩写？

R4T是Retrieve-for-Train，直译为为训练而检索。它是Google Research提出的查询扇出框架，用强化学习训练扇出模型，再把能力蒸馏进一个5390万参数的扩散模型。

查询扇出是什么意思？

查询扇出是把用户的一个宽泛问题分成多个相关子查询分别检索，再合并结果，用来覆盖用户可能关心的不同方面。Google在AI模式里用到了这种技术。

R4T比大模型扇出快多少？

论文测试里，批量8条查询时大模型约1.46秒，扩散模型0.07秒；批量1024条时大模型接近50秒，扩散模型4.21秒，整体快12到20倍。

R4T已经用在Google搜索里了吗？

没有官方确认。Google Research的博客和论文都没说已部署，SEJ根据博客晚半年发布推测可能已上线，但报道本身也写明并不确定。

R4T的实验用的是网页数据吗？

不是网页数据。论文用了Polyvore服装搭配数据集和Google内部的专家音乐歌单数据，结论能否推广到网页搜索还没有验证。

三项奖励分别是什么？

落地性要求子查询对应数据库里真实存在的内容，多样性用Vendi分数衡量整组子查询的语义跨度，贴题度防止子查询偏离原始问题。三项互相牵制，防止模型钻空子。

什么是释义坍缩？

指没有针对性优化的大模型拆查询时，生成的子查询都是原词的近义改写，比如波西米亚音乐节风格和波西米亚音乐节时装，检索回来的结果几乎一样。

R4T用了哪些语言模型？

扇出模型用Gemma3-4B和Qwen3-4B两个40亿参数的开源模型训练，基线对比还用了Gemini-2.5-Flash。最终部署的是5390万参数的扩散模型。

论文提到了哪些风险？

奖励函数设计不当可能编码或放大训练数据里的偏见，并通过合成数据大规模传播。作者建议在敏感场景部署前做领域偏见审查，并保留人工监督。

R4T和Best-of-N比有什么优势？

Best-of-N要对每个查询扇出5次再挑奖励最高的一次，推理成本高一个数量级。R4T把探索放在训练阶段，部署时只跑一次，效果还超过Best-of-N。

R4T只能用在搜索上吗？

论文认为它也适合推荐系统、创意搜索和探索式信息获取，并提出用强化学习合成训练数据的思路可能延伸到规划、设计、创意生成这类没有标准答案的任务。

扩散模型为什么比大模型快？

大模型要一个字一个字地生成子查询，扩散模型直接在向量空间里一次性生成全部10个检索方向，不需要中间的推理文字，参数量也只有5390万。

做SEO要因为R4T改策略吗？

不必急着改。可以借它的思路检查内容是否覆盖了用户问题的不同方面，少写近义词堆砌，但不要把一篇未确认部署的论文当成排名规则。

权威参考资料