robots.txt挡不住AI训练：Google被诉案摊开了内容进模型的4条路

摘要：2026年7月10日，三家出版社加一位小说家在纽约南区联邦地区法院把Google告了，指控它拿受版权保护的书训练Gemini。这份起诉书真正值得做内容的人读一遍的地方，不是索赔金额，而是它把4项指控分开排列的方式——原告自己就把“从Google图书里复制”和“通过网页抓取复制”当成2条互不相干的侵权路径分别起诉。顺着这个结构往下看，你会发现内容进入一个大模型至少有4条路，而你的robots.txt只管得住其中一条。更尴尬的是，那条你管得住的路，恰恰是4条里分量最轻的。

先说清楚一件事：这不是一篇法律分析。判决要等好几年，赔多少钱跟你我也没什么关系。

但这份起诉书有个别的用处。它是目前为止把“内容是怎么进到一个大模型里去的”讲得最完整的一份公开文件——因为原告为了把责任说清楚，必须一条一条把路径拆开。而这些路径，正好就是你每天在琢磨的那件事：我在网上放的东西，最后都去了哪。

一份起诉书，凭什么值得做SEO的人读完？

大部分人看到这条新闻，抓住的是“Google被告了”。这个信息量约等于零。这些年被告的AI公司排起来能绕一圈。

真正有信息量的是起诉书封面那一页。这份文件在法院备案系统里能查到原件，案号1:26-cv-05870，一共57页。我把封面原样抄下来：

看出问题了吗。前3项引的是同一组法条，同样是“未经授权复制”，却被拆成了3条独立的指控。

律师不会平白无故把一件事写成3件。拆开，是因为这3次复制发生在完全不同的地方、通过完全不同的渠道、涉及完全不同的抗辩。原告必须分开告，才能保证其中一条被驳回时另外2条还站得住。

为什么第一项和第二项分开列，是这份文件里最该被注意的细节？

第一项针对的是Google图书和其他Google服务。第二项针对的是网页抓取。

这个区分，把一件平时被混为一谈的事情摊开了：同样是“Google拿到了我的内容”，来路完全可以不一样，而不同的来路，适用完全不同的规则。

书是怎么到Google手里的？要么是图书馆里的实体书被搬去扫描，要么是出版社按合同上传的。这2条路上，从头到尾没有任何一个爬虫参与过。既然没有爬虫，robots.txt自然就无从谈起——你没法用一份写给抓取器看的文件，去约束一台平板扫描仪。

网页抓取那一项才是有爬虫的。可即便是这一项，后面你会看到，主力也不是Google自己的爬虫。

内容进到一个大模型里，一共有几条路？

把起诉书里提到的渠道理一遍，至少4条。我按“你能不能管得到”从弱到强排：

4条路里只有最后一条归你的robots.txt管。而对这场官司来说，最后一条几乎不重要——书又不在网站上。

下面一条一条拆。

第一条路：图书馆里的实体书，是怎么变成训练语料的？

Google官方在Google图书的项目说明页上写得很直白，书只有2个来源：合作伙伴计划和图书馆项目。

图书馆项目就是字面意思。Google跟大学图书馆合作，把书一本一本搬出来，一页一页扫成数字副本。这件事从2004年就开始做了，规模是千万册级别。

这条路上没有网络请求，没有User-Agent，没有IP段，没有日志。你在服务器上部署再严密的拦截规则，对一本躺在密歇根大学书库里的精装书没有任何作用。

这听起来像句废话，但它恰恰是这场官司的地基。原告要证明的正是：这批内容从来就不在“公开网络”这个语境里，所以任何“你都放到网上了还怪谁”的辩解，在这里根本用不上。

第二条路：你主动交给平台的东西，授权边界划在哪？

起诉书点了3个Google服务的名：Google图书、Google Play图书、Google学术。

这3个的共同点很有意思——内容都是版权方主动、自愿、按合同交出去的。出版社把电子书传到Play图书，是为了卖书；把文章放进学术检索，是为了被引用。

起诉书里那句话说得很干净，我直译过来：作者和出版社把数字图书交给Google，目的仅限于销售获得授权的电子书，并未授权Google复制这些作品去训练或开发它的AI模型。

这就引出了整件事里最值得单独拎出来讲的一条原理。

Google学术为什么也被点名？

3个服务里，Google学术最容易被忽略，但它对做专业内容的人最有参考价值。

起诉书里的说法是：Google学术让用户检索学术文献，检索结果会把用户导向可以合法获取全文的地方。这个模式本身没问题，出版商也认。问题在下一句——起诉书写的是，Google学术里没有任何条款授权Google复制参与出版商的文章去训练或开发它的AI模型。

注意这个句式：不是“禁止”，是“没有任何条款授权”。

这两者的差别很重要。版权的默认状态是保留，不是开放。合同里没提到的用途，不需要被明令禁止才算越界，它本来就不在授权范围内。很多人把这个关系搞反了，以为“协议里没写不许，那就是可以”。

把这个逻辑放到你自己的处境里：你给某个平台供稿时签的协议，大概率也没有一个字提到AI训练——不是因为对方大方，而是因为签的时候这件事还不存在。这个空白对你是保护还是风险，取决于当地法律怎么填，以及你有没有能力把它谈成明文。

Google内部自己是怎么评估这件事的？

起诉书第60段里有几条内部材料的引述，这是整份文件里最有杀伤力的部分，因为它指向的是“明知故犯”。

第一条，Google内部把使用Play图书里“出版商提供的受版权保护图书”来做AI这件事，标注为对Google“高度有问题”，并警告可能面临“数百亿到上千亿美元的潜在罚款”。这个原文表述是$10Bs-$100Bs。

第二条，内部识别出的具体风险里，有一句几乎是预演了今天：图书出版商很可能会把在他们的书上做大模型训练视为侵权，可能撤回在Play图书上的内容并起诉Google。

第三条，内部分析列出的关键问题包括：部分合作方图书内容存在限制性许可；出版商对在他们的数据上训练很敏感；合理使用抗辩的风险升高。

这3条为什么重要？因为版权侵权分故意和非故意，法定赔偿的上限差好几倍。原告把这些内部材料放在这么靠前的位置，就是奔着“故意”去的。

对我们这些旁观者来说，还有一层更朴素的启发：连Google自己的法务都认为这件事风险极高，那些告诉你“反正大家都在抓，没关系”的说法，可以打个折扣听。

授权是按用途给的，不是按副本给的

很多人对授权的理解停留在“我把文件给你了”这个动作上。给了就是给了，你拿去干什么是你的事。

版权法不这么看。你交出去的是一次有明确用途的许可，不是这份内容的所有权。用途换了，许可就得重新谈。

这个道理放到日常工作里也一样成立。你授权某个聚合平台转载你的文章，是为了拿曝光；它拿去喂自己的模型，那是另一件事。你给分销商产品图，是为了让它卖货；它拿去训练一个能生成同类产品图的工具，也是另一件事。

合同里没写的用途，默认不在许可范围内——这条原则比任何技术手段都更接近问题的本质。而绝大多数内容合作协议，压根就没写过AI训练这一条，因为签的时候还没这回事。

2015年那个判决，为什么现在反过来成了原告的武器？

Google图书当年也被告过，打了10年。2015年第二巡回上诉法院判Google赢，认定它扫描全书构成合理使用。

按常理，这应该是Google最硬的护身符。可这次原告主动把它写进了起诉书里，而且是当成弹药用的。

原因藏在判词的限定语里。起诉书引用的原话是：法院认定制作完整数字副本属于合理使用，但仅仅是因为Google制作这些副本的目的，是向公众提供搜索与片段浏览功能。

合理使用从来不是给一份副本发的通行证，而是给一个特定用途发的。判决书里那句“仅仅是因为”，把这张通行证的适用范围死死钉在了“搜索和看片段”上。

所以原告的逻辑链条是这样的：你手上这批副本合法，前提是你只拿它做检索。现在你拿它去训练一个会写小说的模型，用途变了，前提就没了，合法性得重新算。

这一招挺漂亮的。Google当年为了赢那场官司，必须把自己的用途说得越窄越好；10年后，那个被自己主动缩窄的说法，成了套在脖子上的绳子。

第三条路：中间商Common Crawl，为什么最该让你警觉？

前面2条路离普通站长很远——你多半没有实体书要被扫描，也没往Play图书传过东西。

第三条路才是真正跟你有关的那条，而且它是4条里最反直觉的。

起诉书里给了一条完整的链路，数字都是原文里的：Google早期的对话模型LaMDA，训练用的语料集叫Infiniset，一共29.7亿份文档；其中大约3.71亿份，占12.5%，来自Google自己整理的C4数据集；而C4，是Google从公开的Common Crawl数据集里挑拣、复制出来的。

关键就在最后这一环。Common Crawl不是Google的。

它是一家独立的非营利机构，自己养着爬虫满世界抓网页，然后把抓来的东西免费公开。Google做的事情，是从这个公开池子里舀水。

这条链路上，你的robots.txt是在哪一步失效的？

假设你在robots.txt里把Google相关的令牌全写了一遍，包括那个专门管训练用途的Google-Extended。你觉得自己拦住了。

但抓你网页的那个爬虫，叫CCBot，是Common Crawl的。它不看你写给Google的任何一条规则——那些规则的收件人不是它。

它抓完，内容进入Common Crawl的公开数据集。Google再从那个数据集里复制，这一步是数据集之间的拷贝，压根不产生任何指向你服务器的网络请求。

于是就出现了这么个局面：你的内容确实进了Google的训练语料，全程却没有任何一个Google的爬虫违反过你的robots.txt。每一步单看都合规，合起来把你的规则绕干净了。

这不是什么阴谋，就是分工的自然结果。但对你来说，后果是实打实的：你以为的那道门，装在了一条没人走的路上。

C4里那2亿个版权符号，说明了什么？

起诉书里有个数字我觉得特别有画面感：版权符号©在C4数据集里出现了超过2亿次。

这个数字本身不能证明侵权——网页页脚放个版权声明是标配，出现2亿次只能说明网页页脚很多。

但它能说明另一件事：这个数据集里的内容，绝大多数都自带“我是有主的”这个标记，而这个标记在被吸进去的过程中显然没起到任何作用。标记还在，约束力为零。

起诉书还点了几个具体来源：Z-Library、LibGen、Sci-Hub这些早就被判过侵权的盗版站，都在Common Crawl的抓取范围里；订阅制的在线图书馆Scribd.com，是C4里的第三大站点。

Scribd这个例子特别值得琢磨。它是合法平台，从版权方那里拿了正经授权，把内容提供给付费用户。可当一个爬虫从外面把它的内容抓走时，等于绕过了整个订阅模式——授权链条在合法的那一端是完整的，在被抓走的那一端断了。

起诉书点名的那些盗版站，为什么值得单独看一眼？

这一段初看像是在骂人，其实藏着一个对普通站长很实际的机制。

起诉书点了名的有Z-Library、LibGen、Sci-Hub、OceanofPDF，还有一个叫WeLib的站，前身是PDF Drive。关于Z-Library，起诉书提到执法部门在相关刑事诉讼中查封了多达350个网站与域名。此外它还说，C4数据集里至少还包含27个被美国政府认定为盗版与假冒市场的站点。

重点不在于这些站有多坏，而在于它们是怎么进到训练语料里去的：它们是被Common Crawl当作普通网页一并抓走的。

Common Crawl的爬虫不做也做不了版权判断。它看到一个能访问的URL，就抓。至于这个页面上的内容是原创、是授权转载，还是彻头彻尾的盗版，对一个爬虫来说没有任何区别。

这件事对你的直接含义是：你的内容如果被盗版站转走过，那么就算你自己的站把所有爬虫都拦干净了，那个副本仍然会经由盗版站进入公开数据集。

换句话说，防抓取这件事有个天然的上限——你只能管住你自己那份。内容一旦被复制出去，副本的命运就不归你管了。这也是为什么“把内容藏起来”从来不是一个完整的策略；真正能持续起作用的，是让你那一份成为最权威、最新、最容易被验证的版本。

Common Crawl自己是怎么回应的？

起诉书里引了2句Common Crawl方面的公开表态。我原样翻译：“如果你不希望自己的内容出现在互联网上，你当初就不该把它放到互联网上。”还有一句更直接：“机器人也是人。”

这2句话值得单独看一眼，因为它把一个平时被默认的前提掀开了。

robots.txt能运转30年，靠的从来不是技术强制力——它就是个文本文件，没有任何东西能阻止一个爬虫无视它。它靠的是一种行业共识：大家都同意遵守，因为遵守对大家都有好处。

当一方公开说“我不认为你有资格提这个要求”的时候，共识这一层就已经不存在了。剩下的只有你自己在服务器上真正能执行的那部分。

想拦住这条路，具体该写什么？

好消息是，Common Crawl至少把口子留得很清楚。它在CCBot的官方说明页上直接给了写法，令牌就是CCBot，用户代理字符串是CCBot/2.0。

写进robots.txt是这样：

User-agent: CCBot
Disallow: /

同一页上还提到2件配套的事：一是已经出现了伪装成CCBot的爬虫，所以只认User-Agent字符串是不够的；二是CCBot现在跑在专用IP段上并支持反向DNS验证，这给了你一个真正可靠的核对手段。

这个思路跟核对Googlebot真伪是一样的：User-Agent是自称，反向DNS才是身份证。关于用户触发型抓取器那一整类的验证细节，我在Google有一整类抓取器不看robots.txt里拆得更细，那篇讲的是同一套机制的另一半。

拦掉Common Crawl，你会失去什么？

这一步别急着动手。Common Crawl不只喂AI训练，它是一大批学术研究、语言学项目、开源工具的基础数据来源；不少反链分析和网络图谱类的服务，底层数据也来自它。

更要紧的是，现在有相当一部分AI系统在回答问题时会去检索网络内容，而检索用的索引未必是自建的。把自己从公开数据集里彻底摘出去，有可能顺手把“被AI提到”的机会也摘掉了。

这就变成一个取舍题，而不是一道有标准答案的技术题：

第三行值得多说一句。如果模型对你的品牌说法有误，问题的根子往往不是被抓得太多，而是被抓到的那一版本身就旧了或者不一致。这种情况下把自己藏起来，只会让错误的那版活得更久。

第四条路：Google自家的抓取器，也就是你唯一真管得住的那条

最后这条反而最简单，因为它是唯一一条“规则的收件人就是它本人”的路。

但这里有个技术细节，我把官方文档翻出来核了一遍，结果比我预期的有意思。

Google-Extended这个令牌，为什么在日志里永远看不到？

Google在抓取器与提取器的官方文档里，对Google-Extended有这么一句说明，我直译过来：Google-Extended没有独立的HTTP请求用户代理字符串，抓取是由现有的Google用户代理完成的，robots.txt里的这个令牌只起控制作用。

换句话说，Google-Extended根本不是一个爬虫。它是一个纯粹的开关。你在日志里翻一辈子也翻不到它，因为从来没有哪个请求是以它的名义发出的。

这一点很容易让人误判。有人在日志里搜不到Google-Extended，就以为自己的规则生效了、没人来抓；实际上抓取照常在进行，只是用的是别的名字，这个令牌管的是抓完之后那批数据能不能进训练集。

把它和上一篇讲的用户触发型抓取器摆在一起看，正好是一对镜像：

一个看得见但管不着，一个管得着但看不见。指望靠翻日志就把这套体系摸清楚的人，大概率两头都会摸错。

官方那句定义里的2个限定词，把管辖范围划到哪了？

同一份文档里还有一句，是这次核对下来最关键的一句。原文直译：Google-Extended是一个独立的产品令牌，网站发布者可以用它来管理Google从其网站上抓取的内容是否可以用于训练未来的Gemini模型。

2个限定词值得逐个看。

主体是“网站发布者”。客体是“Google从其网站上抓取的内容”。

把这2个限定词套回这场官司：那些书不是从任何网站上抓来的，是图书馆扫的、是出版社按合同交的。它们从定义上就不落在这个令牌的管辖范围里——不是Google不守规矩，是这条规矩从一开始就没写到那儿去。

所以那个流传很广的说法——“出版社当初把Google-Extended一屏蔽不就完了”——在机制上根本不成立。这个开关只能关掉网页抓取那一路，而这场官司的主战场是另外三路。

时间线上还有一记补刀，很多人没算过这笔账

就算退一万步，假设Google-Extended真能管住网页抓取那一路，还有个时间问题绕不过去。

这个令牌是2023年9月底才发布的。而这场官司里被反复提到的C4数据集，是从更早的Common Crawl快照里整理出来的，用来训练LaMDA那一代模型。

也就是说，等到这个开关被造出来的时候，该进去的内容早就进去了。

这一点对所有做内容的人都成立，而且比法律细节更值得记住：退出机制永远是往后生效的，它不能把已经发生的事情撤回来。你今天在robots.txt里加的任何一行，管的都是明天的抓取；至于过去十几年里被抓走、被复制、被打包进各种数据集的那些副本，没有任何一个开关能追回。

所以把希望寄托在“找到正确的屏蔽写法”上，从一开始就搞错了时态。屏蔽是个止损动作，不是个撤销动作。

第四项指控告的是删除版权信息，这对做内容的人意味着什么？

前3项都是复制，第四项换了个赛道，走的是DMCA的第1202(b)条，告的是删除或篡改版权管理信息。

版权管理信息这个词听着抽象，说白了就是那些标明“这东西是谁的”的元数据：作者名、版权声明、许可条款、标识符。

这一项为什么单独告？因为它的证明门槛跟复制不一样。复制那几项要跟合理使用抗辩正面打，胜负难料；而“你把我的署名信息抹了”是个相对干净的事实问题——抹没抹，比对一下就知道。

对内容从业者来说，这一项的启发比前3项更实际：你的内容上，到底有没有一个机器读得到、又不容易被顺手抹掉的归属标记？

你的页面上，有没有可被移除的归属信息？

大部分站点的答案是：有，但只有人看得见的那种。

页脚一行“版权所有”，文末一句“转载请注明出处”——这些是写给人看的。内容被提取成纯文本喂进模型的那一刻，这类信息跟正文混在一起，能不能留下全看运气。

能被机器稳定识别的归属信息是另一套东西：结构化数据里的作者与出版方字段、图片文件里的元数据、正文里被明确标注的引用来源。这些至少在格式上是可解析的，被移除时也留得下痕迹。

这条线索往前推一步，就接到了内容溯源那套东西上。关于可验证出处正在怎么变成一种新的信任凭据，我在内容溯源与C2PA那篇里展开过。这场官司等于从法律那一侧，给同一件事补了个注脚：归属信息不只是礼貌问题，它可能是你唯一能拿出来的证据。

为什么删除版权信息那一项，可能是4项里最难缠的？

把4项指控放在一起掂量，第四项的分量常被低估。原因在赔偿的算法上。

起诉书里明确写了一句：每一次移除或篡改版权管理信息，以及每一次分发或使用被移除、篡改了该信息的作品，都构成一次独立的违法。

“每一次算一次”这几个字，是个乘法器。前3项复制类指控要跟合理使用抗辩正面交锋，胜负难说；而这一项的争点更偏事实——信息在不在，被没被抹掉，比对一下就知道，抗辩空间小得多。

顺带说一句，用版权规则去撬动一个体量巨大的平台，这套路数并不新鲜。Google自己就在用同样的工具对付盗版站，我在Pirate更新是什么里写过它怎么拿DMCA投诉量当降权信号。同一部法律，这次调转了枪口。

这场官司的“集体”包括谁，跟你有关系吗？

这是一起拟制集体诉讼，意味着5位原告不只为自己打，还代表一批处境相同的权利人。

对绝大多数读到这里的人来说，答案很直接：你不在这个集体里。这个集体针对的是书籍与期刊文章的权利人，不是网站内容的作者。

但“不在集体里”不等于“跟你无关”。这场官司会给几个问题定调，而这些定调最终会渗到所有内容创作者身上：用途受限的授权能不能被单方面扩展？合理使用能不能覆盖训练？归属信息被抹掉算不算独立的伤害？

这3问，答案落在哪一边，决定的是未来几年内容分发协议怎么写。你现在还谈不上有筹码，但至少可以先把自己的合同翻出来看看。

把这套框架搬到你自己的供稿协议上

这是整篇里迁移价值最高的一段，尤其是对做外贸和独立站的人。

出版商这次栽的跟头，说白了是：把内容交给了一个用途受限的渠道，却没在合同里写清楚AI训练这一条。而这个错误，你大概率也正在犯。

盘一遍你把内容交出去过的地方：

• 给分销商和渠道商的产品图、说明书、参数表
• 上架第三方平台时提交的商品描述与详情页素材
• 投给行业媒体、目录站的稿件与企业资料
• 交给代运营或本地化服务商的全部文案
• 为参加展会、评奖、认证提交的技术文档

这些协议里，有几份写了对方能不能拿去训练模型？我猜是零。

该怎么补也不复杂，谈新合同或者续约时加一句用途限定就行——授权范围仅限于约定的展示与销售用途，不含用于训练或开发机器学习模型。对方接不接受是另一回事，但至少这个空白不该是你自己留的。

这里有个反直觉的地方值得点一下：你在自己网站上花力气配置的那些拦截规则，保护的是你控制权最强的那部分内容；而你真正没有控制权的那部分，恰恰是通过合同交出去的。结果就是大多数人把精力放在了防线最厚的地方。

一张表：4条路径各自归谁管，你能做什么

把前面拆的东西收拢成一张表，这是这篇里最该被存下来的部分：

看这张表最该带走的一句话是：robots.txt只在第三、第四行有位置，而且第三行还得指名道姓写对是谁。

保哥的客户案例：一个乐器教学站在日志里翻出了什么

去年下半年有个做乐器教学内容的出海独立站找过来，主要卖的是分级课程，站上还挂着大量免费的入门教程和曲谱解析。

他们的诉求原本很简单：怀疑内容被AI学走了，问能不能全拦掉。

我们先没动手，先把3个月的访问日志按用户代理分了个组。结果有2件事跟他们原来的判断不一样。

第一件，他们最担心的Google相关抓取，占比其实很平稳，跟往年比没有明显变化。真正涨得快的是几个第三方数据采集类的爬虫，其中就包括CCBot，而这一类在他们此前所有的拦截规则里一条都没被提到过——规则全是照着Google和几个知名AI公司的名字写的。

第二件更有意思。被抓得最集中的不是那些流量最高的入门教程，而是几篇讲乐理概念辨析的长文。那几篇在后台的浏览量排名一直很靠后，站长自己都快忘了。

这2件事凑在一起，结论就不是“拦不拦”了，而是他们真正的资产跟他们以为的资产不是同一批内容。浏览量高的是引流页，被反复抓走的那几篇才是不可替代的部分。

最后的处置也就跟着变了：免费入门内容照旧开放，那几篇核心辨析文章补齐了结构化的作者与出版方标注，付费课程正文本来就在登录墙后面，不用额外处理。CCBot那一条最后也没拦——他们靠内容获客，拦掉是自断入口。

得说清楚，这里面没有对照组，我也没法证明“如果当时全拦了会更差”。这只是一次把假设换成读数的过程，它值钱的地方在于把注意力挪对了地方，而不在于某个结论多正确。

怎么判断自己的内容有没有进过公开数据集？

这个问题没法给出确定答案，但可以做几个成本很低的近似判断。

第一，查Common Crawl的公开索引。它提供按域名检索的接口，能查到你的站在历次抓取快照里被收录了哪些URL。查到不等于一定进了某个模型的训练集，但至少说明原料是齐的。

第二，直接问模型。挑几段你站上独有、别处不会有的表述——比如某个自造的说法、某组只有你测过的数据——去问几个主流模型，看它能不能补全或者复述。

第二种方法要特别小心解读。模型答得出来，不代表它训练时见过你的原文，也可能是它当场检索到的。反过来，答不出来也不代表没见过，训练语料里的东西不一定能被准确召回。这个测试只能提供弱信号，不能当证据用。

第三，看有没有被“共现”。比你的原文有没有被抓走更值得关心的，是你的品牌名和你所在品类的关键概念有没有被绑在一起。关于这个机制怎么运作，我在AI答案为什么不引用你里展开过。从做生意的角度看，被记住比被抓走重要得多。

付费墙被绕过这件事，反过来能给你什么启发？

起诉书里关于Scribd的那段，藏着一个可以直接拿来用的判断。

Scribd是合法的订阅制平台，从版权方拿了正经授权。可当爬虫从外面把内容抓走时，订阅这道门等于不存在——爬虫走的是公开可访问的那个入口。

这就把一件事说清楚了：付费墙能不能拦住抓取，取决于它是真墙还是假墙。

假墙是前端遮挡——内容其实已经随页面发给浏览器了，只是用样式盖住或者用脚本折叠起来，弹个框让你登录。这种做法对搜索引擎友好，对爬虫也一样友好，因为内容就在返回的HTML里躺着。

真墙是服务端判断——没有有效会话，服务器压根不把正文发出来。这种情况下爬虫拿到的就是一个空壳。

大量内容站用的是前一种，而且往往是有意为之，因为担心真墙会影响收录。这个取舍本身没有错，但你得知道自己选的是什么：选了假墙，就等于选了“对所有人可读，只对人类收费”。

顺带一提，这也是为什么前面那个乐器教学站不用为付费课程做额外处理——他们的课程正文是服务端鉴权的，本来就发不出去。

中文内容的处境，会不会更好一点？

会好一点，但好得有限，而且好的原因不太让人高兴。

好的部分是：主流公开数据集里中文语料的占比一直不高，中文内容被卷进去的密度确实低于英文。

不高兴的部分是：这个“好”本质上是被边缘化的副产品，不是保护措施起了作用。而且随着各家把多语种能力当成竞争重点，这层稀薄的缓冲正在快速变薄。

还有个结构性差别值得注意。中文内容的分发高度依赖各类平台，而平台内容对外部爬虫往往是封闭的。这意味着中文创作者面临的主要风险，从来就不是“被外部爬虫抓走”，而是“被自己发布的那个平台按用户协议拿去用”。

后一种风险，robots.txt一个字都管不到——那是合同问题，跟这场官司里出版商栽的跟头是同一类。

怎么在日志里把这几类请求分开看？

不用上工具，先按用户代理粗分成四组就够了：Google的常规抓取、Google的用户触发型抓取、第三方数据集爬虫、其他AI公司的具名爬虫。

分完之后看3个东西。一是各组的请求量占比，二是各组集中抓的路径前20名，三是有没有哪一组在最近3个月里增长特别快。

第二项通常最有价值。浏览量排名反映的是人对什么感兴趣，抓取集中度反映的是机器认为什么值得拿走。这2个榜单差得越远，说明你越需要重新看一遍自己的内容资产清单。

要注意的是，任何一组的请求量都不能直接当成“被学走了多少”。抓取次数跟最终有多少内容进了训练集之间，隔着去重、筛选、质量打分好几层，中间的损耗谁也不知道有多大。

这件事上最容易犯的3个判断错误是什么？

第一个，把robots.txt当成有强制力的东西。它是一份君子协定，收件人愿意听才有用。真正有强制力的是服务器层的拦截和登录墙。

第二个，只按名字写规则。今天规则里写着几家AI公司的名字，明天换一批名字你就得重写一遍。这场官司里的关键路径是CCBot，一个绝大多数人的规则里压根没出现过的名字。

第三个，把“拦住”当成目标。拦住是手段，目标得是你想保住什么。上面那个乐器站的例子里，全拦的方案在动手前看起来最稳，实际上是把获客入口和核心资产一起关掉。

出海独立站要不要按这个框架自查一遍？

要，但重点跟本土站不太一样。

出海站往往有大量内容散在别人的地盘上：分销商的商品页、行业目录、评测媒体、社媒平台。这些地方的内容你既没有服务器控制权，也没有robots.txt写入权。

换句话说，你能管的那一小块，在你全部内容里的占比，比本土站还要低。

所以自查的重点不该放在“我的robots.txt写全了没有”，而该放在2件事上：一是把散出去的内容清点一遍，看看关键事实的版本一致不一致；二是把跟平台、分销商签的旧合同翻出来，看看用途条款是怎么写的。

第二件事的价值可能超出预期。这场官司告的正是“超出约定用途使用”，而这个逻辑对你同样适用——你的分销商拿你的产品资料去做了什么，合同里多半也没写清楚。

老板问“这事要不要紧”，该怎么答？

这种问题最怕2种答法：一种是“不要紧，跟我们没关系”，一种是“很严重，得赶紧全拦上”。前者会让你在半年后被翻旧账，后者会让你亲手关掉获客入口。

比较稳的答法是把它拆成3句。

第一句，这场官司告的是书和期刊，我们不在原告集体里，短期内没有直接的法律风险。

第二句，但它把一件跟我们有关的事说清楚了：内容进AI有4条路，我们的技术手段只覆盖得了其中一条，剩下3条靠的是合同。

第三句，所以我建议做的不是加拦截规则，而是花2个小时把我们对外供稿和上架的协议翻一遍，看看用途条款是怎么写的。

这3句的好处是，它把话题从“要不要拦”挪到了“我们的内容资产到底散在哪些地方、各自归谁管”。后面这个问题，不管这场官司怎么判都得回答。

这件事有没有可能反过来是个机会？

有，而且机会不在技术那一侧。

如果这场官司最终确立了“训练需要单独授权”这条线，那么内容授权就会从一个没人谈的空白，变成一个有价格的东西。已经有平台开始给创作者提供训练授权的开关和分成方案了，虽然目前给的钱少得可怜。

真到那一天，能拿到钱的会是哪些人？大概率是3类：内容量足够大的、内容质量足够高的，以及权属足够清楚的。

前2类靠长期积累，急不来。第三类反而是现在花点力气就能补上的——把作者、出版方、许可条款这些字段在结构化数据里填好，把原创内容的首发时间和版本留痕。这些事今天做的收益是SEO层面的，将来如果授权真的能卖钱，它们又正好是证明权属的材料。

一件事今天有用、将来也有用，这种活值得优先做。至于那些只在某种特定判决结果下才有意义的准备，可以先放着。

官司还没判，哪些结论现在就能用？

要分清楚哪些东西依赖判决结果，哪些不依赖。

依赖判决的：赔多少、合理使用这条抗辩在训练场景下站不站得住、以后行业得怎么改规矩。这些现在猜都是白猜，官司打完得好几年。

不依赖判决的，反而是更实用的那部分：

• 内容进模型有4条路，robots.txt只覆盖其中一条半，这是机制问题，判决怎么判都不会变。
• Google-Extended没有独立UA、只对网页抓取生效，这是官方文档白纸黑字写的。
• CCBot是独立第三方，得单独写规则，这是Common Crawl自己公布的。
• 授权按用途走、合同没写的用途默认不在范围内，这是版权法的基本盘。

这4条今天就能拿去用，而且不会因为哪一方赢了而作废。

如果只有10分钟，先做哪3件事？

第一件，打开自己的robots.txt看一眼，有没有CCBot这一条。有，说明你或者你的前任想得比大多数人细；没有，说明第三条路对你是完全敞开的。先别急着加，先看第二件。

第二件，问自己一句：我的内容是靠被看见赚钱，还是靠不被复制赚钱？答案决定了上一条该不该加，这个问题比任何技术细节都更该先想清楚。

第三件，随便挑三篇你最不希望被拿走的文章，看看它们的结构化数据里作者和出版方字段填了没有。大概率没填。这是10分钟里性价比最高的一件事，因为它既是SEO的基本功，又刚好是第四项指控指向的那种东西。

半年后回头看，这篇里哪些会过期，哪些不会？

会过期的：官司进展、Google文档的具体措辞和地址、Common Crawl的表态、各家爬虫的名字和令牌。这些都是当期取值，随时会变，尤其是文档地址——Google这套抓取器文档最近才整体搬过一次家，旧地址还在返回301。

不会过期的：授权按用途划分、robots.txt管的是抓取动作而不是内容用途、你能约束的只有直接向你发起请求的那一方。这3条是结构，不是取值。

判断一条信息值不值得记住，用这个标准就够了：它依赖的是一个机制，还是一个当期数值？依赖机制的可以放进长期认知，依赖数值的每季度都得重新核一遍。

常见问题解答

在robots.txt里屏蔽Google-Extended，能阻止我的内容被用来训练AI吗？

只能阻止一部分。按Google官方文档的定义，这个令牌管的是“Google从你网站上抓取的内容”能否用于训练Gemini。它管不到通过第三方数据集流转的内容，也管不到你通过合同交给任何平台的内容。而且它没有独立的用户代理字符串，你在日志里是看不到它的。

CCBot到底是什么，为什么我的规则里从来没有它？

CCBot是非营利机构Common Crawl的爬虫，它抓取的数据被整理成公开数据集，再被众多AI公司取用。绝大多数人的拦截规则是照着Google和几家知名AI公司的名字写的，而CCBot既不属于任何一家AI公司，名字也不出现在那些榜单上，所以经常被整个漏掉。

那我到底该不该屏蔽CCBot？

取决于你的内容怎么变现。靠内容本身收费的，屏蔽的收益大于损失；靠内容获客最终卖产品服务的，屏蔽等于自断曝光入口。做品牌事实性资料的最好别屏蔽，否则模型里错误的旧版本会活得更久。这个问题没有通用答案，先想清楚要保住什么再动手。

这场官司的4项指控，为什么前3项引的是同一组法条？

因为3次复制发生在不同环节：从Google图书等服务里复制、通过网页抓取复制、在训练过程中复制。渠道不同，涉及的抗辩理由也不同，分开起诉可以保证其中一条被驳回时另外2条仍然成立。这个拆分方式本身，就说明内容进入模型的路径不止一条。

2015年Google图书那个判决，跟这次有什么关系？

那次判决认定Google扫描全书构成合理使用，但判词明确限定了理由是“为向公众提供搜索与片段浏览功能”。原告这次正是拿这个限定语当武器：合理使用是发给特定用途的，用途换成训练AI模型，原来的认定就不能自动延续。

普通的独立站站长，需要为这件事做什么吗？

3件小事就够了：确认robots.txt里有没有CCBot这一条并想清楚要不要加；把最重要的几篇内容的结构化作者与出版方字段补齐；翻一遍跟平台和分销商签的旧合同，看用途条款怎么写的。前2件是技术活，第三件往往才是风险最大的那件。

为什么说抓取次数不能当作被训练程度的衡量？

抓取只是第一步。从抓到的原始网页到最终进入训练集，中间还有去重、质量筛选、格式转换好几道工序，损耗率外界完全不掌握。用请求数去推断“被学走了多少”，分母和口径都是缺的，只能当作一个粗略的关注度信号。

权威参考资料