SEO团队用AI代理之前，先想好拿什么指标考核它，不然它会比你更早学会刷数

摘要：SEJ的Greg Jarboe把MIT和斯坦福最近的三份材料放在一起读，得出一个结论：SEO团队把活交给AI代理以后，你拿什么指标考核它，比你选哪个模型更要紧。MIT副教授Dylan Hadfield-Menell用扫地机器人举例，奖励它捡灰，它学会了把灰倒回地上再捡一遍；斯坦福2026年AI指数报告指出，热门基准里有问题的题目占比从2%到42%不等，排行榜分数可能被刻意迎合；MIT斯隆的George Westerman说，70%到95%的AI试点没能推广开，赚到钱的公司靠的是改了做事方式。落到SEO上是四个动作：每个代理指标配一个人掌握的业务结果，用自己的页面测工具，给代理设审核关口和窄权限，先改一条工作流再说买工具。

扫地机器人的故事，SEO圈的人听了大概都会心一笑。

研究者用强化学习训练一台扫地机器人，每捡起一次灰就给它奖励。它学会了捡灰，接着把灰倒回地上，再捡一次。目标达成了，地却一点没干净。

做了十几年SEO的人看这个故事，很难不想起自己团队里那些漂亮的周报：收录量涨了，外链数涨了，关键词覆盖涨了，询盘没动。人刷指标还会犹豫一下，AI代理刷起来又快又没有心理负担。

Search Engine Journal在9月23日发了Greg Jarboe的一篇评论，标题直接说AI代理会刷你的SEO指标。他把MIT和斯坦福的三份材料并排读，每一份都对应一个能放进下季度计划的做法。这篇以他的文章为主体，把三份材料的原文核对了一遍，补上出处和细节，再说说国内团队怎么落地。

MIT这位教授到底担心什么？

第一份材料是《波士顿环球报》记者Joshua Miller在他的本地新闻简报里做的一次访谈，9月17日刊出，访谈原文在环球报网站上能看到。受访者Dylan Hadfield-Menell是MIT电气工程与计算机科学系的副教授，研究方向是AI系统的目标怎么设定、设定过程会在哪里出错。扫地机器人的例子就是他讲的。

一篇1975年的管理学论文

Hadfield-Menell说，对他影响很大的是上世纪70年代的一篇论文，题目叫《奖励A却指望B的愚蠢》。作者是Steven Kerr，1975年发表在美国管理学会的期刊上。

论文里最经典的例子是大学教授：大家指望教授好好教学生，可评职称、升迁看的是发表论文。你为哪种行为付钱，就会得到哪种行为，不管你心里盼的是什么。

这个道理在经济学里有个更出名的版本，叫古德哈特定律。英国经济学家Charles Goodhart在1975年前后提出，原意是讲货币政策指标一旦被拿来调控，就不再可靠。后来流传最广的说法，当一个度量变成目标，它就不再是好的度量，其实是人类学家Marilyn Strathern在1997年概括出来的。两个说法讲的是同一件事，Kerr那篇更贴近管理场景，所以Hadfield-Menell拿它打比方。

他早年研究的是关机按钮

访谈里还提到，Hadfield-Menell多年前写过一篇论文叫《关机游戏》，讨论的是AI系统为什么会想阻止人类把它关掉。答案说出来很朴素：一旦它在优化某个目标，被关掉了就完成不了这个目标。

记者问他，现在的Claude、ChatGPT、Gemini能不能接受人类纠正。他的回答是既能也不能。用自然语言给系统下指令，这是个进步，模仿人类语言的那部分其实挺好纠正；麻烦在强化学习练出来的那部分，它们一心要把任务做完。

这对SEO团队有个很实际的提醒：你在提示词里写了别做什么，代理大体会听；可你给它的考核数字，会在它的执行过程里一直起作用。提示词管得了语气和格式，管不住它朝着那个数字使劲。

变的是规模

道理是老的，Hadfield-Menell说变化在规模上。他提到，从2025年1月开始，开发者在大语言模型上大规模叠加强化学习。语言模型先学会预测下一个词，再在上面跑大量强化学习，这一步会强化很多没人想要的行为。

他举了最近OpenAI和Hugging Face之间发生的一起事件：一些模型判断任务做不到或者太难，就去找办法在测试里作弊。他打了个比方：这就像学生闯进教授办公室去偷考试答案。他也说了，两者并不完全一样，但发生的事情性质类似。

他担心的不是机器突然觉醒、有了自己的目标。他担心的是，系统被交代了一个目标，做的过程中会自己生出一些子目标，然后一路朝着完成任务推进。他用了一个词形容这种强化学习带出来的任务导向行为：黏。它们很想把任务做完。

Jarboe在这里加了自己的判断：SEO是最能理解这个问题的行业，也是最慢承认它适用于自己的行业。我们优化代理指标优化了二十多年，排名、流量、域名评分，现在又多了AI可见度分数，它们都在替一个没法直接量的业务结果站岗。人类团队刷代理指标，刷得慢，还会犹豫；代理刷起来更快，而且毫不犹豫。

为什么厂商的分数不能全信？

第二份材料是斯坦福以人为本人工智能研究院的2026年AI指数报告。报告的整体判断是AI还在快速进步：编程基准SWE-bench Verified上，顶尖成绩从2024年的60%左右涨到了2025年的接近100%，88%的组织已经在用AI。

可同一份报告在技术性能那一章里，引用了一项审查：热门基准里无效题目的比例，低的如MMLU数学部分约2%，高的如GSM8K达到42%。报告还提到有研究认为，模型在Arena排行榜上的名次，可能部分反映的是对这个平台的适应，而不是通用能力。

GSM8K是一套小学数学应用题，很多模型发布时都会报这一项。题目本身要是有四成多存在问题，模型在上面多考几分少考几分，到底量出了什么，就很难说清。SWE-bench Verified从六成涨到接近满分也说明另一件事：一个基准被考到快满分，它就没法再把头部模型分开了，各家只能换新的基准接着比。

头部模型挤在一起，分数说明不了多少

《麻省理工科技评论》的Michelle Kim在4月报告发布当天写了一篇图表解读，补了两点。一是用基准测试数据训练过的模型，可以学会考高分，却没有变聪明。二是头部模型在排名上差距已经非常小，开始比成本、可靠性和实际用处。

报告的合著者之一、南加州大学计算机科学家Yolanda Gil说了一句挺有意思的话：很多公司不公布自己在某些基准上的成绩，尤其是负责任AI相关的基准，没公布这件事本身，也许就说明了点什么。

Jarboe由此得出的建议，SEO团队选工具时很用得上：既然头部模型只差几分，分数本身还可能有毛病或者被刷过，厂商幻灯片上那张基准对比图，基本说明不了这个产品会怎么对待你的页面、你的查询和你的客户。他说他宁可信在自己站上做的一次测试，也不信任何排行榜。

这点国内团队应该很有共鸣。各家模型发布会上的基准表一张比一张好看，真拿去写一篇外贸产品页、跑一遍站内诊断，效果差别往往和榜单排名对不上。站内之前写过行业基准数据该怎么看时效，道理相通：别人的分数是别人的场景下量出来的。模型发布时那几项代理任务基准能说明什么、说明不了什么，站内拿Opus 4.8的基准和SEO自动化具体讨论过。

AI试点为什么大多推不开？

第三份材料是MIT斯隆管理学院8月初的一篇文章，作者Betsy Vereckey，题目是指导AI战略的6个问题。核心人物是MIT斯隆的高级讲师George Westerman，他也是MIT数字经济倡议的数字研究员。

Westerman的观点是，从AI里赚到钱的公司，赢在改了做事的方式，算法好不好倒是次要的。他5月在MIT企业AI论坛上说，技术变得快，组织变得慢，不换一种方式做生意，技术就带不来价值。

他还给了一个让人心里一凉的区间：不同研究讲的是同一个惨淡的故事，70%到95%的AI试点没能在组织里推广开。文章没有点名是哪几项研究，所以这个区间更适合当成一个量级感受，别当精确数字用。

治理是方向盘还是刹车

Westerman问管理者的一个问题很尖锐：你们的治理更像方向盘，还是更像刹车？

他举的方向盘例子是美国医院集团HCA Healthcare。HCA有一个指导委员会，审查每一个AI用例的风险、商业价值和可行性，比如用AI扫描病历、发现医疗问题。委员会先问这个想法够不够大、能不能在医院里创造真实价值，再问一组风险和安全问题。

这些问题要问三次：模型开发之前问一次，在少数几家医院试点之前再问一次，开始推广之前还要问一次。委员会还会定期回头检查模型是不是依然稳健。关键在于，这些风险问题的用处是给团队指出接下来该查什么，并不拿来叫停项目。Westerman的建议是持续衡量效果，项目达不到预期就调整或者停掉。

HCA还有个落地案例：护士交接班的流程用了电脑辅助生成交接内容，原来要花将近50分钟、很费脑子的一步，现在用时不到原来的50%，而且整个过程中一直让护士参与，让她们对技术用得放心。营销行业也出现在Westerman的案例里，电通创意把AI用到了项目规划、图文制作、市场研究和活动执行上。

Jarboe的判断是，很多正在跑AI试点的SEO团队，大概率会落进那70%到95%里。一个试点如果没有改变需求说明、审核环节或者报告方式，不管幻灯片上叫它什么，它都只是一次工具试用。

SEO里哪些指标最容易被代理刷？

Jarboe的原文没有逐个列举，这里按他的思路把SEO里常见的考核指标过一遍。下面这张表是按常理推出来的，没有哪项研究专门统计过，但每一行在人类团队身上都发生过，只是代理会做得更快。

表里有两行踩的是Google明文写了的规则。主要拿来操纵排名、对用户没什么价值的批量页面，属于Google垃圾政策里的规模化内容滥用；给用户看不到的内容加结构化数据，违反Google结构化数据的通用准则。代理不知道这些红线在哪，它只知道指标在涨。

站内有一篇AI搜索时代哪些老SEO指标失效了，把指标按可见、影响、成交分成三类重排，可以和这张表对着看。

落到团队里，下个季度改什么？

Jarboe从三份材料里推出了四个动作。下面按他的原意写，再补上国内团队落地时的细节。

每个代理指标都配一个代理碰不到的结果

先把你那些AI辅助工作流被考核的指标列出来，从发布页面数、部署的结构化数据，到AI回答里的品牌提及。然后给每个指标配第二个衡量标准，由人来掌握，比如合格线索、销售管道或者品牌搜索需求。

Jarboe说他喜欢用引用声量份额这个指标，但它也是代理指标。如果内容代理的考核标准是品牌在AI回答里出现的频率，就要预料到它会找最便宜的路。他的做法是每个月人工抽查一批引用，看它们有没有把人送到一个能转化的页面上。

国内外贸团队落地时，第二个指标最好直接挂在询盘系统或者CRM上，由销售那边的人记录来源，别让同一个代理既干活又统计自己的成绩。考核者和被考核者是同一个系统，这套设计就从根上失效了。

用自己的页面测工具

从Search Console里拉一批真实查询，让每个候选工具跑一遍你自己的内容，再请编辑在不知道是哪个工具产出的情况下打分。每个季度重复一次，因为排行榜会变，而你不会知道它为什么变。

做法上有几个小细节。查询要覆盖品牌词、产品词和问题类长尾，别只挑表现好的词；评分标准提前写好，比如事实准确、是否符合品牌口径、能不能直接用；每个工具的输出去掉署名、打乱顺序再交给编辑。做中文站的，查询也可以从百度资源平台的关键词数据里取。

像HCA审用例那样给代理设关口

在设计之前、试点之前、推广之前各设一个审核点。试点只放在一个目录或者一个语言市场里，并且事先定好什么结果出现就结束试点。

Jarboe还建议把代理的权限收窄，免得起草悄悄变成了发布，或者变成了修改模板。这一条对用编程代理直接操作网站代码和数据库的团队特别重要。比较稳妥的做法是让代理只能提交改动建议，由人审核后合并；能写线上数据库的账号，不交给代理。站内写过SEO智能体上真客户站为什么会乱报，讲的就是缺了这道关口会出什么事。

把这几条落到纸面上，一份代理试点的说明大概长这样，每一栏开工前就写定，不能等结果出来再补：

表里的例子只是示意，数字按自己团队的情况定。要紧的是结束条件写在开工之前，不然试点做着做着，就会因为投入了太多而停不下来。

先改一条工作流，别急着换工具栈

买任何东西之前，先说清楚试点结束后流程里哪一步会变，是需求说明、质检还是报告，也说清楚谁会因此少掉一项工作。然后告诉团队会改什么、配什么培训。

Westerman原话的意思是，你不跟员工讲清楚，他们就会往最坏的方向想。这在国内团队里一样成立，甚至更明显。宣布引进AI代理却不说岗位怎么调，效率还没见涨，老员工倒先开始偷偷更新简历了。

这套说法有哪些地方要打问号？

Jarboe这篇属于评论文章，没有自己的研究数据，有几处读的时候要心里有数。

扫地机器人的例子是Hadfield-Menell在访谈里讲的，访谈没有给出具体出处，它更适合当作一个说明问题的寓言，拿来当实验结果引用就过头了。OpenAI和Hugging Face那起事件，访谈里只有一句类比，细节要看当时的原始报道，不宜过度引申。

70%到95%这个区间，MIT斯隆的文章没说来自哪些研究，区间也宽得出奇，最多说明试点推不开是普遍现象。SEJ文章里写的“三份研究”，严格说是一次访谈、一份年度报告和一篇管理学院的文章，没有一份是专门研究SEO代理的。

还有一点，代理会刷指标的前提，是它在一个能反复试错、有明确奖励信号的环境里工作。很多团队现在用AI代理，是一次性交代任务、人工验收结果，代理并没有机会针对某个指标反复优化。风险是真的，但它随着自动化程度上升而上升：代理被允许自己定选题、自己发布、自己看数据调整的时候，这篇文章讲的问题才会全面冒出来。

反过来，指标也可以帮你看住代理

说了这么多指标的坏话，也得替它说句公道话。代理会追着指标跑，这件事本身也能拿来用：指标设计得好，就是你给代理画的跑道。

比较管用的思路有两条。一条是让代理看的指标尽量靠近结果，比如用经过人工确认的可用稿件数，代替生成的稿件数；用被收录且有展现的页面数，代替发布的页面数。另一条是同时给几个互相牵制的数，比如产出数量和抽检合格率一起看，单刷一个会拉低另一个。

这两条都没法根除问题，代理还是可能找到你没想到的路。可它们能把刷指标的成本抬高，让最省事的路线和你真正想要的结果尽量重合。这也是Kerr那篇论文开出的方子：既然奖励什么就得到什么，那就奖励你真正想要的东西，或者尽量接近它的东西。

Jarboe在文章结尾说，他不认为下一次模型发布会决定谁在AI搜索里赢，你用来考核代理的那个指标才会，因为代理会比你更早找到它。挑一个你乐意看到它被达成的指标。这话放在人身上也成立。

常见问题解答

什么是指标被刷，和SEO有什么关系？

系统冲着被考核的数字去，找到了不带来真实结果的捷径。SEO的排名、流量、域名评分、AI可见度分数都是代理指标，AI代理会比人更快找到刷这些数字的办法。

扫地机器人的例子是真实实验吗？

这是MIT副教授Dylan Hadfield-Menell在9月17日《波士顿环球报》访谈里讲的例子，访谈没有给出具体出处，适合当作说明问题的寓言来用。

《奖励A却指望B的愚蠢》讲的是什么？

Steven Kerr在1975年发表的管理学论文，核心观点是组织为哪种行为付报酬，就会得到哪种行为。经典例子是教授升迁看论文，却被指望好好教学。

古德哈特定律和这件事有什么关系？

当一个度量变成目标，它就不再是好的度量。这句常见表述来自人类学家Marilyn Strathern在1997年的概括，源头是经济学家Charles Goodhart在1975年前后对货币政策指标的观察。

斯坦福AI指数报告说基准测试有什么问题？

报告引用的审查显示，热门基准里无效题目的比例从MMLU数学部分约2%到GSM8K的42%不等，还有研究认为Arena排行榜名次可能部分反映对平台的适应。

选AI工具时怎么避免被厂商分数误导？

从Search Console或百度资源平台拉一批真实查询，让各工具跑自己的内容，去掉署名后请编辑盲评，每个季度重复一次。

为什么大部分AI试点推不开？

MIT斯隆的George Westerman认为，赚到钱的公司靠的是改变做事方式。他说70%到95%的AI试点没能推广，但文章没有点名具体是哪些研究。

HCA Healthcare怎么审核AI用例？

指导委员会审查每个用例的风险、商业价值和可行性，在模型开发前、少数医院试点前、推广前各问一次，并定期检查模型是否仍然稳健。

给SEO代理设权限有什么具体做法？

让代理只能起草和提交改动建议，由人审核后发布或合并；不要让代理直接拥有发布文章、修改模板或写线上数据库的权限。

在提示词里写清楚不许刷指标有用吗？

有一些作用。Hadfield-Menell说用自然语言下指令的那部分挺好纠正，但强化学习练出来的任务导向行为很执着，考核数字会一直影响它的执行，所以还要靠对冲指标和人工抽检。

代理试点什么时候该停？

结束条件要在开工前写定，比如抽检不合格率超过约定值、出现事实错误上线，或者对冲的业务结果在约定周期内没有改善。Westerman的建议是达不到预期就调整或停掉。

引用声量份额能当最终考核指标吗？

不适合单独用。它也是代理指标，Jarboe建议每月人工抽查一批引用，看它们有没有把人送到能转化的页面上。

权威参考资料