OpenAI训练师因用AI训练AI被开除：ChatGPT背后的人工打分，和Google质量评估员差在哪

摘要：404 Media 9月22日报道，OpenAI通过外包公司雇了成千上万名合同工，读真实的ChatGPT提示词和数据，帮模型改进回答，其中已有多人因为用AI来完成这份训练AI的工作被开除。一位合同工说，这几乎是唯一一件会让你立刻被踢出项目的事。Search Engine Roundtable把它和Google的搜索质量评估员相提并论。两者都靠人打分，用途却不同：Google明确说单条评分不会直接影响任何网页的排名，只拿来衡量和改进系统；OpenAI的人工偏好数据则直接进入模型训练。对做SEO和GEO的人，能读的规则只有Google那份公开的评估指南。

AI公司开除员工的理由，居然是员工用了AI。这条新闻在9月下旬的搜索圈里转得很快，大家笑完之后，问题也跟着来了：给ChatGPT打分的到底是些什么人，他们的分数怎么影响模型，和Google那批搜索质量评估员是不是一回事。

Search Engine Roundtable的Barry Schwartz在9月25日的文章里，把404 Media的报道和Glenn Gabe的评论放在一起，说法很直接：Google有成千上万的质量评估员帮着测试和改进搜索结果与AI结果，OpenAI也一样，只是叫AI训练师。这篇以那篇文章和404 Media的报道为主体，补上OpenAI论文和Google官方文件里的原文，讲讲这两套人工打分体系的异同。

404 Media到底报了什么？

404 Media记者Joseph Cox在9月22日的报道开头写道：OpenAI有一支合同工队伍，他们阅读真实ChatGPT用户的提示词和其他数据，帮着改进聊天机器人的回答。用意是给模型加上人的判断，可并不是所有合同工都在这么做。

报道的核心发现是：多名受雇改进OpenAI模型的合同工，因为用AI来训练AI而被开除。404 Media点出了其中的讽刺：OpenAI整套生意就是让大家在工作里用AI，替它做训练的外包公司却在开除用AI的人。

一位合同工告诉记者，他们看到有人用AI“一直都有，也一直有人因为这个被辞退，这差不多是唯一一件会让你被立刻踢走的事”。这个人还说，在几千人的群体里，被抓到的人很多。

报道还把这件事和模型崩溃联系起来。所谓模型崩溃，指的是AI模型用AI生成的文本继续训练，表现会越来越差。404 Media的说法是，有些模型已经显出这种迹象，而本该帮着防止这种情况的人，自己却在用AI生成的回答训练OpenAI的模型。

需要交代一句：404 Media这篇报道的正文后半部分只对付费会员开放。公开能读到的，是上面这几段导语和引语，加上SER转述的“成千上万名合同工”。合同工具体做哪些任务、受雇于哪几家外包公司、被开除的有多少人，公开部分都没有写，这里也不替它补。

Glenn Gabe的那句调侃

SEO顾问Glenn Gabe在9月23日转发这篇报道时写道：质量评估员，只不过质量是相对的。他随口提了一个一万名评估员的数，说听起来和Google很像。这个数字他没有给出处，404 Media公开的部分写的是几千人的群体，两者对不上，看的时候当成一句玩笑就好。

质量是相对的，这句玩笑倒不全是玩笑。InstructGPT论文测过，经过筛选、参与训练的标注员之间，意见一致的时候只有七成出头。同一个回答，换一个人打分，有将近三成的可能给出不同的排序。人工打分本来就带着分歧，再掺进AI代写，这份分歧就更说不清来源了。

Barry Schwartz的结论只有一句：讽刺归讽刺，所有AI平台和搜索引擎都有质量评估员和训练师，这一点他很确定。

给ChatGPT打分的人，具体在做什么？

OpenAI没有公开现在这支队伍的工作细节，可它早年的一篇论文把基本做法写得很清楚。2022年3月，OpenAI在arXiv发表了《用人类反馈训练语言模型遵循指令》，也就是InstructGPT那篇论文，ChatGPT后来沿用的就是这套方法，简称RLHF，基于人类反馈的强化学习。

论文里的流程分三步，每一步都离不开人：

1. 写示范答案。标注员针对提示词，亲手写出他们认为理想的回答，用来对模型做有监督的微调。
2. 给答案排序。同一个提示词让模型生成多个回答，标注员按好坏排序，这些比较数据用来训练一个奖励模型。
3. 用奖励模型反过来训练主模型。奖励模型学会了人的偏好，主模型再通过强化学习去追求更高的奖励分。

当时的规模不大。论文写的是，他们通过Upwork和Scale AI雇了大约40名合同工，按一次筛选测试的成绩挑人。提示词主要是英文，来自OpenAI接口的用户提交和标注员自己写的内容。

论文还给了一个很能说明问题的数：参与训练的标注员之间，意见一致的比例是72.6%，正负1.5个百分点；另找一批没参与训练数据、也没经过筛选测试的标注员，一致率是77.3%，正负1.3个百分点。人和人之间本来就有将近四分之一的时候意见不同，这是人工打分天生带着的噪声。

这批人怎么打分，论文也交代了取舍。训练阶段，标注员被要求优先看回答对用户有没有帮助；到了最终评估，改成优先看真实性和无害性，论文的原话是，因为这才是他们最在意的。筛人时专门考了一项能力：能不能体察不同人群的偏好，能不能认出可能有害的输出。

论文还交代了一个数据细节：用户提交的提示词，每个用户编号最多取200条，训练集里的提示词先过滤掉个人身份信息，避免模型学到敏感的客户信息。

效果也很说明问题。在人类评估里，13亿参数的InstructGPT给出的回答，比1750亿参数的GPT-3更受欢迎，参数只有后者的百分之一。决定模型好不好用的，有很大一部分是人告诉它什么叫好。

从40人到404 Media说的几千人，规模变了几个量级，原理没变：模型学到的好坏标准，很大一部分来自这些人点的哪个更好。

你在ChatGPT里点的赞，也会进训练

除了雇来的训练师，普通用户也在给模型喂数据。OpenAI的数据使用说明写明，ChatGPT等面向个人的服务，可能会用你的内容训练模型，除非你在隐私门户或数据控制里选择退出；临时聊天不会被用来训练。面向企业的ChatGPT团队版、企业版和接口，默认不拿输入输出做训练。

说明里还写，用来训练之前，会先采取措施减少训练数据里的个人信息。结合404 Media的报道看，合同工读到的“真实用户提示词”，指的就是这一类数据。

为什么用AI来训练AI是一条红线？

人工打分的价值，就在于它是人。外包公司花钱雇人，买的是人类的判断：哪个回答更有帮助，哪个在胡说，哪个语气让人不舒服。训练师把活儿交给另一个AI，交上去的就成了AI对AI的评价，偏好数据里人的信号被稀释，模型学到的可能是另一个模型的口味。

这就回到了404 Media提到的模型崩溃。学术界对这件事讨论得比较多的一项研究，是Shumailov等人2024年7月发表在《自然》上的论文，他们发现模型在一代代用前代模型生成的数据训练之后，会逐渐丢掉原始数据分布里少见的那部分内容，输出越来越单一。这项研究的设定是反复用生成数据训练，和偶尔有训练师偷懒不是一个强度，可方向是一致的。

站在外包公司的角度，开除的逻辑也简单：它卖给OpenAI的就是人工数据，掺了AI的数据等于掺假。对训练师来说，按件计酬、任务枯燥，用AI提速的诱惑很大，这是两边利益天然拧着的地方。

另一个现实问题是怎么抓。公开报道没说外包公司靠什么识别AI代写。中文写作圈都知道，AI检测器误判率不低，单凭检测分数开人很容易冤枉人。这一点报道里没有细节，只能存疑。

和Google的搜索质量评估员是一回事吗？

都是外部雇来的人，都在按指南打分，看上去很像。放在一起比，差别主要在分数的去向：

表里最关键的是第三行。Google在搜索测试说明页里写，评估员评估网页内容满足搜索需求的程度，按内容的专业性、权威性和可信度评判质量；这些评分不直接影响排名，只用来衡量结果质量是否达标。

评估指南第0.1节说得更细：任何单条评分都不能直接影响某个网页在Google搜索里的展示，也不能让它上升或下降；人不可能逐一给开放网络上的每个网页打分，用评分来排位置本来也不现实。评分的用处是衡量搜索引擎的表现，并提供有帮助和没帮助的结果样例，用来改进系统。

OpenAI这边，分数的路径要短得多。排序数据训练出奖励模型，奖励模型再直接调整模型的行为。一个训练师偷懒交上去的AI评分，理论上会顺着这条链路进入模型，这也是外包公司对这件事零容忍的原因。

评估员按地区招，和外贸站有什么关系

Google评估指南第0.2节有一条要求很少被人注意：评估员必须代表他们所评地区的人，必须非常熟悉任务的语言和地点，做不到就要告诉雇主。评分不能基于个人观点、偏好、宗教信仰或政治立场，要按指南和例子来，并且代表本地的文化标准。

这对做海外市场的独立站很实际。你的英文页面在美国市场被评估，对照的是美国用户的期待；德语页面对照的是德国用户。机器翻译腔、本地人不用的说法、不符合当地习惯的联系方式和售后信息，在当地评估员眼里都很扎眼。评估员不给你的网页直接打分，可他们给出的好坏样例，就是Google检验排序系统时用的标准答案。

ChatGPT这边，InstructGPT论文写明当年的提示词主要是英文。现在几千人的训练师队伍覆盖多少种语言，没有公开信息。小语种市场的回答质量，目前没法从这个角度去推断。

两边测量方式的规模差

Google的说明页还列了一组2023年的数字：4781次上线，16871次真实流量实验，719326次搜索质量测试，124942次并排对比实验，从70多万次实验里产出了4000多项改进。所谓并排对比，就是给评估员看两组结果，一组改过，一组没改，问他们更喜欢哪一组、为什么。

真实流量实验是另一种测法，和人工打分并行。Google的说法是，新功能通常先对0.1%的用户开放，再和没开放的对照组比较，看点击了什么、搜了多少次、有没有放弃搜索、多久才点进结果。人工评分说的是好不好，流量实验看的是用户怎么做，两者都要过关才上线。

这和RLHF里给回答排序的做法其实是一个思路：都是让人在两个版本之间挑一个。区别在于，Google把挑的结果当成上线前的考试成绩，OpenAI把挑的结果当成教材。评估员的评分从测试到上线要经过哪些环节，本站另有一篇从质量评估到上线的流程梳理。

做SEO和GEO的人能从这里拿走什么？

第一件事，能读的规则读透。OpenAI的训练师指南不公开，Google的评估指南是公开的，而且一直在更新。当前版本封面日期是2025年9月11日，里面有几段和AI内容直接相关，值得逐字看：

• 2.1节的术语定义里专门给了生成式AI一条，意思是，生成式AI可以是内容创作的好帮手，但和任何工具一样，也可能被滥用。
• 4.6.5节讲规模化内容滥用，列的第一个例子就是用自动化工具，包括生成式AI，以低投入的方式批量生产大量页面，和同主题的其他网页相比几乎不增加价值。
• 指南要求，即使不确定页面是不是用生成式AI做的，只要看了几个页面后强烈怀疑是规模化内容滥用，就应该打最低分。
• 4.6.6节说，只用生成式AI工具这一点，并不决定投入程度和页面质量评级，AI工具可以做出高质量内容，也可以零投入做出最低质量内容。
• 4.6.7节讲怎么判断内容是转述抄来的，把带有AI总结痕迹的措辞列为信号之一，举的例子就是页面里残留着“作为一个AI语言模型”这类句子。

评估员按这套标准给出的好坏样例，会被Google用来检验排序系统，所以这份指南常被SEO圈当成理解Google质量观的窗口。本站有一篇评估指南的读法和自查清单，可以配合着看；Google对AI生成内容本身的官方态度，也整理过一篇规模化内容滥用的政策解读。

指南里还有一部分常被忽略：评估员要主动去查网站和作者的声誉。3.3节专门讲了怎么找声誉信息，3.3.2节把客户评价也算作声誉信息的一种。对外贸独立站来说，这意味着评估员看你的网站时，不只看页面本身，还会去看别人怎么评价你。第三方平台上的评价、行业媒体的报道，比你自己页面上写多少好话都管用。

第二件事，ChatGPT那边没有公开的指南，但训练逻辑决定了它偏好什么。训练师排序时奖励的，是直接回答问题、事实准确、语气得体的回答。模型在回答里引用网页时，自然更容易用上那些把问题说清楚、结论有出处的段落。这一点和Google评估指南里对主要内容质量的要求，方向是一致的。

第三件事，别指望靠刷人工信号影响AI。Google的评估员不能给单个网页加减分，OpenAI的训练师面对的是成批的匿名回答，不是某个网站。想通过某种人工渠道影响这两套系统对你网站的看法，现实中走不通。内容怎么进入模型、能不能被挡，本站梳理过内容进入大模型的几条路径。

最后一件，看看自己团队的流程。404 Media报的是训练师用AI偷懒，内容团队里用AI批量出稿、不审就发，和这是同一种问题：花钱买的是人的判断，交上来的却是机器的输出。Google评估指南里那几条规模化内容滥用的描述，拿来当内部审稿的标准正合适。

外包公司能理直气壮地开人，前提是规矩事先写明了：这份活儿不许用AI。内容团队也可以学这一点，把哪些环节允许AI起草、哪些必须人写、谁负责最后审核，提前写进流程。出了问题有据可查，比事后争论这篇算不算AI写的省事得多。

拿评估指南当内部审稿表

把指南里和AI内容有关的条款，对到内容团队的日常环节上，大致是下面这张表。每一行的依据都在2025年9月11日那版指南里，审核动作是可以照着做的最低要求：

表里没有一条是在禁止用AI。指南反复强调的是投入和增量价值，工具本身不决定评级。这和外包公司开除训练师的逻辑恰好相反：外包公司卖的是纯人工数据，所以AI一点都不能沾；网站卖的是对读者有用的内容，AI可以用，没有人把关的AI输出才是问题。

还有哪些说法对不上号？

这件事目前公开的信息很零散，有几处要分开看：

• 人数。404 Media说的是成千上万、几千人的群体，Glenn Gabe随口说了一万，SER说成千上万。没有一个是OpenAI官方给的数。
• 工作内容。公开部分只说合同工读真实提示词和数据、帮着改进回答，有没有评估网页引用、搜索结果质量，没有写。
• 和搜索的关系。SER标题叫质量评估员，是借Google的说法类比，OpenAI自己并没有这样称呼这些人，也没有公开它们和ChatGPT搜索功能的关系。
• 被开除的人数和识别办法，报道公开部分都没有交代。

OpenAI也没有就这篇报道公开回应。等更多信息出来之前，能确定的只有两件事：ChatGPT背后确实有大批人在打分，这批人被要求必须自己打。

常见问题解答

OpenAI的AI训练师是做什么的？

据404 Media报道，他们是通过外包公司雇用的合同工，阅读真实的ChatGPT提示词和其他数据，通过写示范答案、给回答排序等方式帮助改进模型。

训练师为什么会被开除？

因为他们用AI来完成训练AI的工作。一位合同工说，这几乎是唯一会让人被立刻踢出项目的事，几千人里被抓到的不少。

Google的质量评估员会影响网页排名吗？

不会直接影响。Google评估指南写明，任何单条评分都不能让某个网页上升或下降，评分用来衡量搜索质量和提供改进样例。

RLHF是什么意思？

基于人类反馈的强化学习。人先写示范答案、再给模型的多个回答排序，训练出奖励模型，再用奖励模型通过强化学习调整主模型。

InstructGPT当时用了多少标注员？

论文写的是通过Upwork和Scale AI雇了大约40名合同工，按筛选测试成绩挑选，标注员之间的意见一致率约为72.6%。

什么是模型崩溃？

指模型反复用AI生成的数据训练后，逐渐丢失原始数据里少见的内容，输出越来越单一、质量下降。2024年《自然》上Shumailov等人的论文对此有专门研究。

我的ChatGPT对话会被拿去训练吗？

按OpenAI的数据使用说明，个人版服务可能会用你的内容训练模型，可以在数据控制或隐私门户中选择退出；临时聊天不用于训练，企业版和接口默认不训练。

Google搜索质量评估指南最新是哪一版？

当前公开的完整指南封面日期为2025年9月11日，可以在Google搜索说明页面的评估员指南链接里下载。

Google评估员按什么标准给网页打分？

主要两类：页面质量评分，看主要内容质量、网站与作者声誉和E-E-A-T；需求满足度评分，看结果对搜索需求满足得好不好。两者都按公开的评估指南执行。

OpenAI的训练师指南能看到吗？

目前没有公开。能参考的是InstructGPT论文附录里的部分标注说明，以及OpenAI公开的模型行为规范文档。

这件事对做GEO的人有什么启示？

AI回答的好坏标准来自人工偏好，偏向直接、准确、有出处的回答。把问题说清楚、结论有依据的内容，更容易被模型采用，靠刷信号影响不了这两套系统。

权威参考资料