让大模型记住品牌没那么简单：背得出原文，换个问法就答不上来

摘要：一篇被反复引用的训练实验里，小模型把10万份虚构人物传记背得很熟，可每人只有一份写法时，换成问答去问没见过题目的那批人，正确率只有9.7%；同一批事实换5种措辞并打乱句序，正确率升到96.6%。另一组实验里，研究者只给别人加了多版本介绍，没动的那组人也从4.4%升到86.8%。这些结论来自研究者亲手控制的训练，搬到商业模型和品牌推荐上，还隔着抓取、筛选、模型选择和来源偏好好几道门。

最近几个月，不少GEO服务商的方案里多了一句话：多发内容，让大模型记住你的品牌。配套的报价通常按篇数算，几百篇起步，附一两篇论文截图当依据。

Pedro Dias 10月19日在Search Engine Journal发了一篇《It Knew Every Word》，专门拿这些论文去对照这句话。他自己在geoSurge工作，这家公司的业务本身就围绕模型记忆展开，他也在文中写明了这层利益关系。下面以他的文章为主体，把他引用的几篇论文原文逐个核了一遍，数字有出入的地方以论文为准，最后落到做外贸独立站和GEO的人能怎么用。

背得出原文和答得出问题，为什么是两回事？

他用的第一篇论文是Zeyuan Allen-Zhu和Yuanzhi Li的《Physics of Language Models: Part 3.1》。实验设计很干净，值得多说两句。

研究者用程序生成了10万个虚构人物，每人有6项属性：生日、出生城市、大学、专业、雇主、工作城市。每人写一份传记，句子按固定顺序排，名字只在第一句出现一次，后面全用代词。然后用这批传记从零预训练一个GPT-2规格的小模型，参数量1.24亿。

预训练结束后，模型对这些传记已经很熟了，给出开头它能把后面续写出来。接着研究者把人分成两组，拿甲组的问答对去微调，比如“某某在哪家公司上班”，再去问乙组同样的问题。乙组的传记模型都读过，只是没在问答里练过。

结果是：每人只有一份传记时，测试组问答正确率只有9.7%。论文摘要说得更重，没有知识增强的话，知识可能被背下来却提取不出来，正确率可以低到0%，后面再怎么做指令微调都救不回来。

Dias打了个比方：一个学生能把课本那段话一字不差背出来，标点都不错，可你换个问法问他里面的某个事实，他就卡住了。背诵考过了，问答没考过。

放到品牌上，这两场考试也分得开。模型能接着你的产品介绍往下写，说明它见过这段文字；买家问“做跨境收款、手续费低的有哪几家”，模型要从记忆里把你的事实抽出来、和问题对上，这是另一场考试。很多“模型已经认识我们了”的说法，拿第一场的成绩去报第二场，中间也不打招呼。

Dias也给这个比方划了范围：它只讲背诵和答题的差别，不涉及模型是不是像人一样理解了什么。研究问的只是，用一种形式学到的事实，能不能拿去回答另一种形式的问题。

论文里还有一组对照值得知道。研究者试过“混合训练”，就是预训练时把传记和甲组的问答对一起喂进去，这样模型对乙组的问答就能答得不错。可一旦先单独预训练传记、事后再补问答微调，写法单一的那批事实就再也抽不出来了。所以论文给业界的两条建议是：预训练前用小模型把语料改写出多个版本，以及别等到最后才加问答类数据。这两条建议是写给训练模型的人的，站长没法替模型方去执行。作者后来把人数扩到2000万做了后续实验，论文脚注说结论仍然成立。

同一句话发几百遍，能换来什么？

看到这儿，最顺手的反应是：那就多重复几遍，总能记住。

重复确实有用，只是用在哪儿要说清楚。Nicholas Carlini等人2022年的《Quantifying Memorization Across Neural Language Models》发现，模型逐字吐出训练文本的程度，和三件事呈对数线性增长：模型容量、这段文本在语料里被重复的次数、提示里给的上下文长度。重复越多，你给出开头，它越容易把原文接下去。

所以“复制粘贴对模型毫无作用”这话说得太满了。问题在于，这里提升的是逐字续写，研究测的就是这个。

今年9月28日提交的另一篇预印本《Don't Forget!》往前推了一步。作者用Pythia系列模型保存下来的训练检查点做模拟，把被背下来的文本分成两类：重复很多次的（作者叫它背诵）和只出现很少次的（叫它回忆）。他们发现，训练过程里其他数据带来的更新，对高重复文本的冲刷更厉害，10亿参数那档模型尤其明显。作者的解读是，这类文本也许就是因此才需要更高的重复度才能保住。

研究者能这样回放训练过程，是因为EleutherAI把Pythia各个训练阶段的检查点和训练数据的顺序都公开了。商业模型不公开这些，站长也就没法用同样的办法，去查自己的某篇文章在训练里留下了多少痕迹。

Dias特意指出了这篇论文没做到的地方：作者没有把重复次数和竞争数据分开单独变化来验证这个解释，测的也仍然是逐字续写，没测关于事实的问答。

他还提了一个做内容的人很容易忽略的点：你重复发布一次，不等于模型多训练了一次。模型方得先把这份副本抓到手，过了质量过滤和去重还留着，最后真的拿去训练。主流预训练语料的处理流程普遍会做相似文本去重，几百篇换汤不换药的软文，进了清洗环节很可能只剩一两篇。内容从网页走到训练集要经过哪几条路、站长能管住哪几条，站内之前写过一篇robots.txt与AI训练数据的四条路径，可以对照着看。

批量铺稿还有一笔检索端的风险要算进去。Google从2024年3月起把“规模化内容滥用”写进了垃圾内容政策，不管内容是人写的还是机器生成的，只要是为操纵排名批量产出、对用户没什么价值，都在打击范围里。今年5月Google又在搜索中心的更新记录里写明，垃圾内容政策同样适用于搜索里的生成式AI回答。冲着“喂模型”铺出去的几百篇近似页面，在训练端未必留得下，在检索端却可能先把站点信誉拖下去。

数提及次数为什么这么受欢迎？Dias的说法挺扎心：因为你在知道它们能教会模型什么之前，就已经能数出来了。好数，好报，好结算。

同一件事换几种说法讲，正确率差了十倍

回到传记实验。研究者试了三种知识增强的办法，组合起来一共十几种配置：

• 多份写法：每人生成几份传记，每份用不同的句子模板，事实不变。
• 打乱句序：把6句话的顺序随机打乱几次。
• 全名替换：把后面句子里的他、她都换成这个人的全名。

论文里给出的几组对比如下（1.24亿参数模型，合成传记数据，测试组问答正确率）：

这里有个小出入要交代。SEJ文中写的是从9.7%升到96.2%，并把全名替换也算在里面；论文正文第4节的结论句写的是每人5份不同写法、打乱句序，从9.7%升到96.6%。两个数相差不大，量级一致，本文按论文正文的96.6%写。

论文还用探针看了模型内部，解释为什么会这样。写法单一时，事实散落在传记其他字词的表示里，和上下文绑得很死；写法多样时，事实更多地以线性方式挂在人名本身的表示上，换个问法也找得到。用大白话说，前一种是按页码记，后一种是按人名记。

Dias拿这个结果去想品牌事实。他编了一家收款公司：一段介绍讲它的结算功能怎么帮平台卖家，另一段讲同一个功能怎么处理消费者的付款问题。产品是同一个，两段描述能回答的问题不一样。

不过他的措辞很克制：这给了他一个理由，去测试在不同场景下清楚描述同一产品；它并没有告诉你，发了这些描述，商业模型就会更好地记住这款产品。

差距出在谁控制训练。论文里训练材料是研究者自己挑的，模型是他们自己训的，每份传记百分之百进了训练集。到了现实里，你能把页面放上网，至于哪些页面进训练、留哪几份副本、怎么用，全由模型方决定。小模型上从9.7%到96.6%的提升，也说明不了一个参数大几个数量级的商业模型会提升多少。

拿这篇论文去卖一个“多场景改写×N篇”的套餐，等于承诺了一个研究者从没测过的效果。方案里贴上论文截图，这个缺口也补不上。

别人的资料写得好，你的也跟着被答对

传记论文里还有一个结果，Dias认为最能打破那套干净的品牌内容解释。

研究者另外加了10万个“名人”，名人的传记用多份写法并打乱句序；原来那批人叫“少数群体”，传记保持每人一份、一个字都不改。后面的问答微调只用名人的问答对，少数群体的问答一条都没进训练。

结果少数群体的问答正确率从4.4%升到了86.8%。

少数群体自己的资料没多一个字，正确率却翻了将近二十倍。模型从名人那里学会了怎么从传记里抽取这类事实，再把这个本事用到了别人身上。论文也写明，这种迁移依赖材料足够相似。

放回课堂比方：这个学生用课文的本事变强了，是因为别的课教得更好了，他自己那段课文并没有多一段。

这对品牌意味着一个挺尴尬的可能：模型换代以后，你的品牌突然更容易被答对了，可你这期间一个字都没改。那份提升也许来自模型方改了训练方式，或者同类公司的资料写得更规范，让模型学会了抽取这类事实。Dias明确说，这是对生产系统的一个假设，研究者没有测过。

他还自我检讨了一下：他自己也曾倾向于用“每个品牌的描述更多样”来解释召回变好，这也许有帮助，但解释不了这个结果，因为被测的那批传记一份都没加。一个需要额外页面才能成立的解释，套不到一个没加页面的结果上。

落到报表上，这条值得记牢。哪天你发现免联网的模型回答里品牌事实准了不少，先去查那段时间模型有没有换版本，再去给内容团队请功。

模型记住了你，也不一定推荐你

就算记住了，后面还有两道门。

第一道是检索。微软以色列团队的《Fine-Tuning or Retrieval?》比较了往模型里灌新知识的两种办法：微调，和答题时把相关段落递给模型（检索增强生成，简称RAG）。他们挑了2023年8月到11月美国发生的事件，从维基百科对应条目里切出文本块，让GPT-4出题再人工核对，一共910道选择题。这些事发生在被测模型训练截止之后，模型事先基本没见过。结果如下（论文表2，时事任务）：

表里能读出三件事。改写过的材料微调效果比原文好，这和传记实验方向一致。可不管怎么微调，都比不过直接把段落递给模型。还有个SEJ没提的细节：Llama2用原文微调后，正确率从0.353掉到了0.219，比不训还差；而微调后再加检索，也没超过单用检索。

Dias提醒，这个测试的设计本来就偏向检索：题目是从检索系统能提供的同一批文本块里生成的，又是给选项的选择题。它测到的是认出答案的能力，没有选项时能不能自己说出答案、会不会推荐一款产品，这组题都没测。

第二道门是来源偏好。今年10月2日提交的《Source Preference in the Wild》测了12个智能体模型、3个领域，把标题和摘要固定，只换旁边显示的来源。结果每个模型在每个领域都偏爱某些来源、回避另一些，而且各模型偏爱的来源大体一致。一个少满足一项需求的选项，如果来自受偏爱的来源、而更好的那个来自不受待见的来源，它被选中的概率约三分之二；反过来几乎从不发生。把来源信息藏起来，偏好就变弱；把一个选项改标成受偏爱的来源，它被选中的比例就上升。

研究者还做了一个训练实验：在偏好训练里让某个来源更多地跟着好选项出现，训完之后模型对这个来源产生了偏爱，哪怕测试时两边选项满足需求的程度完全一样。可见训练能造出来源偏好，不过这个实验没解释现有智能体身上的偏好是怎么来的。

连起来看，你的品牌可以通过一场“记不记得住”的测试，然后在推荐环节输给一个竞争对手，原因是测试根本没看的那个维度。品类问法一换、推荐名单就翻盘的现象，站内品类框定决定AI推谁那篇有具体例子。

这两道门哪道更要紧，要看用户用的是哪种产品。Ahrefs的查询扇出研究里，ChatGPT免费版85.6%的回答不联网（站内有一篇解读），这部分回答只能靠参数记忆；而AI模式、Perplexity这类每次都检索的产品，第一道门更要紧。

做GEO的站长，现在该做什么、该少买什么？

Dias全文没有给操作清单，他的落点是“先说清楚这份工作打算改善哪个指标”。下面这几条是按论文结论和站点实际能控制的范围整理的，每条都写明了它靠的是哪个证据、证据管到哪儿为止。

把三个指标分开报

这三项里，认出最容易做出好看的数字：给的候选越少、问法越贴近你官网的原话，命中率越高。所以看报表时，先问候选名单是谁定的、问法是从哪来的。

三个指标的提升需要三种证据。供应商只给你看第一行，却按第三行收钱，这单就该谈一谈了。

同一事实写进不同场景，名字写全

传记实验里，多份写法加打乱句序是提升最大的组合，把代词换成全名也在增强手段之列。落到站上，就是让关键事实在产品页、FAQ、对比页、帮助文档、案例页里各用一种场景讲一遍，每次都带上品牌全称和产品名，少用“我们”“该产品”来指代。

这样做的好处有两头：对检索型产品，每个片段被单独摘出来时都自带主语，不会变成一句没头没尾的话；对训练型产品，至少你提供的材料更接近论文里那种“增强过的数据”。它能不能让商业模型记得更牢，没人测过，这点要对团队说实话。品牌名在句子里经常缺席的问题，站内拿6758句做过一次统计。

要防的是另一头：换说法不能换事实。成立年份、产能、认证编号这类硬事实，五个页面写出三个版本，模型学到的就是混乱。先做一份事实表，各页面都从这张表取数。

站外资料的写法也会帮到你

名人帮少数群体那组实验提示，模型抽取一类事实的本事，是从大量同类材料里练出来的。放到外贸B2B上，可以这样理解：行业目录、展会名录、第三方评测、维基类条目里，你的条目要和同行条目用同样规范的字段写清楚公司全称、所在地、主营品类、成立时间。格式越接近那类被大量写好的材料，模型越可能用学到的那套抽取方式来读你。这条仍是从实验外推出来的，同样没有在商业模型上验证过。

检索那条路，站长能管的更多

训练集进不进得去由模型方决定，检索这条路你能管的多得多：页面能不能被AI爬虫抓到，正文有没有在服务器端直接输出，关键事实有没有写在可以单独引用的段落里。训练截止和检索时延为什么会让AI引用滞后，可以看这篇；AI答错了品牌事实，从溯源到纠错的做法见另一篇。

自己测一轮，花不了多少钱

不想全靠服务商的报表，可以自己搭一个最小的测试。挑20个和你品类相关的问题，10个问品类推荐，10个问你家的具体事实。每个问题准备3到5种问法，口语的、带场景的、带参数的都来一点，因为传记实验说的就是换个问法才见真章。

每种问法在同一个产品里跑3次，联网和不联网各一轮，把回答、引用链接、日期和界面上能看到的模型名称都记下来。站内之前有一篇AI搜索改写敏感性测试，讲的就是同一问题换说法后引用怎么变，表格可以直接借用。一个月后再跑一遍，模型名称变了的那几次单独标出来，别和内容改动的效果混在一起算。

买服务前问清楚三个问题

• 这份工作要改善的是认出、答对还是推荐，用什么方法测，测几轮？
• 效果出来以后，怎么排除同期模型换版本带来的变化？
• 引用的论文是谁控制的训练、多大的模型、测的是续写还是问答？

答得上来的服务商不一定靠谱，答不上来的基本可以不用往下谈了。

Dias结尾那句话挺适合贴在GEO周报的抬头：模型方能改课程表，你的内容日历只能改书架上摆的读物。把这两种权力搞混，学生早就能背课文了，你还在一份接一份地布置作业。

常见问题解答

传记实验里的9.7%和96.6%是在什么模型上测的？

是研究者从零预训练的1.24亿参数GPT-2规格小模型，训练数据是10万个程序生成的虚构人物传记，每人6项属性。它说明了训练数据写法对知识提取的影响，但不能直接换算成商业大模型上的提升幅度。

SEJ写的96.2%和论文的96.6%哪个对？

论文正文第4节结论句写的是每人5份不同写法并打乱句序，从9.7%升到96.6%。SEJ的96.2%对应的配置还加了全名替换，可能取自图表里另一组数字。两者量级一致，本文采用论文正文的96.6%。

重复发同一篇软文能让模型记住品牌吗？

重复能提高逐字续写的概率，这是Carlini等人2022年论文测出来的；但它测的是给出开头能否接出原文，回答关于你的问题是另一回事。再加上预训练语料普遍要做去重，几百篇近似软文进训练集后留下的可能很少。

为什么没改内容，模型突然更会回答我的品牌了？

一种可能是模型换了版本，训练方式或同类材料变了。传记论文里，只给另一组人增加多版本传记，没动的那组人正确率就从4.4%升到86.8%。所以召回变好时，先核对模型版本和时间点，再判断是不是自己内容的功劳。

微调和检索哪种更能让模型知道新事实？

在《Fine-Tuning or Retrieval?》的时事题测试里，Mistral 7B原始0.481，用改写材料微调到0.588，直接加检索到0.875。检索明显更好，但这组题是从检索库同一批文本里出的选择题，设计上偏向检索，不能当成所有场景的结论。

把代词都换成品牌全称，读者不会觉得啰嗦吗？

不用每句都换。传记实验里全名替换只是增强手段之一，提升最大的是多份写法加打乱句序。实际写作时，保证每个能被单独摘出的段落、每条FAQ答案里至少出现一次品牌或产品全称就够了，读起来自然，被引用时也不缺主语。

来源偏好会让被记住的品牌照样输掉推荐吗？

会。《Source Preference in the Wild》测了12个智能体模型，少满足一项需求的选项若来自受偏爱的来源，约三分之二的情况下仍会被选中。所以记住品牌和被推荐是两件事，监测时要分开测。

权威参考资料