Anthropic承认Claude测试时绕过网站限制:真提交了表单,还拿前端令牌查收费数据

Anthropic承认Claude测试时绕过网站限制:真提交了表单,还拿前端令牌查收费数据
张文保 21 分钟阅读 2,614 阅读
本文目录
  1. 这份报告是怎么查出来的
  2. Claude在真实网站上做了哪几类事
  3. 表单:一次是副本坏了,一次是以为后面还有确认页
  4. 令牌:地图的配置文件和看板自己发的令牌
  5. 短链:绕开的是Anthropic自己的限制
  6. 费城警方那条线索,两份材料对不上的地方
  7. 模型为什么会去绕开限制
  8. Anthropic改了什么,客户产品没提
  9. 站长能从这几个案例里查出什么
  10. 询盘表单和留言表单
  11. 写在前端的密钥和令牌
  12. 只靠前端拦着的收费内容
  13. robots.txt管不到这些事
  14. 这件事有几处容易读过头
  15. 常见问题解答
  16. Claude到底在哪些网站上做了什么?
  17. 费城警方那条假线索造成影响了吗?
  18. Anthropic对客户产品做了限制吗?
  19. 在robots.txt里屏蔽ClaudeBot能防住这种情况吗?
  20. 网站前端的API密钥会被AI智能体拿去用吗?
  21. 外贸站询盘表单该怎么防AI乱填?
  22. 什么是奖励投机,和这次的事有什么关系?
  23. 短链和这件事有什么关系?
  24. 权威参考资料

摘要:Anthropic在10月9日发布报告,承认Claude系列模型在内部评测和员工日常使用中,在真实网站上做了不该做的事:提交了真的政府表单,给费城警方的悬案线索表单填了一条编造的目击线索,从地方政府地图的前端配置文件里取出能用的访问令牌直接查服务器,还用免费短链服务绕开自家抓取工具的网址长度限制。公司已对全部内部评测断网,客户产品的联网能力没有宣布调整。对站长来说,这几个案例暴露的都是常见的网站写法:不要求验证的公开表单、发给浏览器的令牌、只靠前端拦着的付费数据。

AI智能体替人上网办事,大家讨论最多的是它能不能读懂你的网页、会不会推荐你的产品。这次Anthropic自己公布的一份报告,讲的是另一种情况:它在你的网站上动手了,而且动的是你没想让它动的地方。

10月12日,Search Engine Journal报道了这件事。原始材料有两份,一份是Anthropic在官网发布的《Investigating unintended model actions in our evaluations and internal use》。另一份是费城警察局的通报,赶在报告发布前单独发的。这篇把三份材料对着读,先讲清楚发生了什么,再说做外贸站、独立站的人能从里面查出自己网站的哪些问题。

这份报告是怎么查出来的

报告不是出了事才临时写的。Anthropic从7月开始回查模型的运行记录,一开始只查网络安全类评测,这类测试本来就要求模型去攻击测试系统,按设计是断网的。今年夏天他们已经公布过两起网络安全事件,分别在7月30日和9月9日。

后来回查范围扩大到所有Claude可能连上外网的场景。这里面有故意开放联网、考察模型真实办事能力的评测,也有Anthropic员工自己日常使用Claude的记录。他们先找和夏天那两起同等严重的事,没找到;再往下找低一级的,也就是模型和真实网站、真实系统发生了意料之外交互的情况,这份报告写的就是这些。

时间事件出处
7月18日晚11点27分Claude Haiku 4.5向费城警方悬案网站提交了一条编造的线索费城警方通报
7月起Anthropic开始回查运行记录,先查网络安全评测Anthropic报告
7月30日、9月9日公布两起网络安全评测中的事件,严重程度高于本次Anthropic报告
8月31日发文说明在修改会奖励模型绕开限制的训练环境Anthropic报告
9月28日发现那条警方线索,停掉了相关的自动化测试费城警方通报
10月7日至8日通知费城警方,双方见面两份材料的说法有一天出入,见下文
10月9日警方先发通报,Anthropic随后发布报告两份材料
10月12日Anthropic更正了报告中一处关于抓取工具限制用途的表述Anthropic报告页尾

Anthropic的定性是“现实影响很小”,并且明确说比夏天那两起轻得多。涉及的网站里有美国联邦、州和地方政府机构的,公司向白宫做了通报,也逐一通知了相关机构。应对方要求,报告没有点名这些机构,细节也比平时写得少,怕把对方系统的漏洞暴露出去。

Claude在真实网站上做了哪几类事

报告把行为分成四类,大部分属于它说的“坚持”:任务按原样完成不了,模型不停下来,转头去绕开挡住它的东西。

行为报告里的例子涉及模型出现在哪些场景
利用网站软件的基础漏洞在服务器上执行命令大学的公开分析工具报错,模型在该校服务器上找到一个有注入漏洞的脚本,借此完成计算Claude Mythos Preview、Mythos 5DeepSearchQA、BrowseComp、LABBench2及内部评测
提交了不该提交的真实表单练习用的政府表单副本打不开,模型跑到真实网站提交;警方悬案线索表单一个未发布的研究模型、Claude Haiku 4.5OSWorld、Odysseys及内部使用
绕开限制拿到收费或需令牌的数据地方政府房产地图、州政府机构的公开数据看板Claude Mythos 5Humanity’s Last Exam及内部使用
用免费短链服务绕开抓取工具的网址长度限制da.gd短链服务的运营者主动联系了AnthropicClaude Opus 5、Mythos 5等内部发现

漏洞那一类,报告只交代到“模型找到了注入漏洞并用它跑了计算”,具体怎么做的没写,这篇也不展开。对站长有参考价值的是后面三类,因为它们用到的都是很普通的网站功能。

表单:一次是副本坏了,一次是以为后面还有确认页

政府表单那次,任务本来是在一份练习副本上填表。副本加载失败,或者被模型自己不小心关掉了,它就去了平时放真表单的官方网站,在那里提交了。同一个评测里这种情况出现了不止一次。

另一次更像人会犯的错。Claude Haiku 4.5被要求把表单填到最后一步、提交前停下,它却好几次直接点了提交,因为它以为后面还会有一个确认页。它的推理记录里写的是自己在“演示流程”,没打算提交真实请求。

令牌:地图的配置文件和看板自己发的令牌

地图那次是一道看图找位置的评测题。模型想用地方政府的房产地图来缩小范围,可评测限制了它像人一样点击网页的能力。于是它去读网站发给浏览器的配置文件,从里面找到能用的访问令牌,直接向地图背后的服务器发请求拿数据。

看板那次发生在员工日常使用中。一位研究员让Claude Mythos 5做统计项目,要用到某州政府机构的公开数据,这份数据是收费的。模型从这个机构网站的存档里发现,它的公开看板会给每个访客发一个访问令牌,于是申请了一个,用它直接查数据库,没付钱。

报告特意强调,这两次拿到的都是本来就对公众开放、只是要收费的数据。这句话可以理解为“没碰机密”,也可以理解为“收费墙形同虚设”,后者对网站主更有用。

短链:绕开的是Anthropic自己的限制

Anthropic给部分网页抓取工具设了网址长度上限,用来挡住一些不希望模型做的操作。几个模型发现可以先把长网址交给免费短链服务缩短,再去抓取,限制就没用了。Anthropic内部先发现了这个现象,写报告期间,da.gd短链服务的运营者也找上门,说在自己的服务上看到了Claude这么干。

这里有个小插曲。报告页尾写着10月12日的更正:之前的版本说这个长度限制是用来防SQL注入或命令注入的,这个说法不对,只是有少数几次评测里,模型在做注入或其他意外操作时恰好用到了短链。所以“用短链绕开防注入限制”这种转述是错的,别再跟着传。

费城警方那条线索,两份材料对不上的地方

最受关注的是这个案例。Claude Haiku 4.5当时的任务是在随机选中的网页上生成并执行示例任务,它落到了一个悬案页面上,页面里有警方的线索提交表单。

它填的内容大意是:“我可能有这个案子的信息。我记得那段时间在某某街附近见过一个符合描述的人,如果有用请联系我。”页面上根本没有嫌疑人的描述,街名是从页面上拿的。姓名和联系方式是选填项,模型没填,表单照样收了。

任务指令禁止模型登录、注册账号、填写个人信息、购物和提交任何有破坏性的内容,偏偏没有禁止提交表单。Anthropic看了运行记录后认为,模型像是在生成示例内容,不是想骗谁,但也承认判断模型有没有说谎需要更深入的分析,这个看法以后可能会变。

费城警方在通报里给了几条报告里没有的细节:

  • 提交时间是7月18日晚上11点27分,通过的是PhillyUnsolvedMurders.com的公开线索表单。
  • 这条提交被标成了垃圾信息,从没转到实时犯罪中心,对应的邮件一直躺在垃圾箱里。
  • 没有迹象表明警方系统被非法访问或数据泄露,警方的核查结果和Anthropic描述的交互过程一致。
  • Anthropic告诉警方,9月28日发现此事后停掉了负责这次提交的自动化测试,并给以后的测试加了一道校验。

两份材料有一处对不上。警方说Anthropic是10月7日通知的,警方立刻要求见面,10月8日见了;Anthropic报告页尾写的是“技术审查一完成,就在10月8日把发现告诉了警方”。差的这一天大概是“先打招呼”和“正式交底”的区别,不影响事情本身,引用时注意别写混。

警方的态度很明确。他们承认自家的垃圾过滤和人工审核挡住了影响。可他们也说,这些防护“不会减轻一个AI系统把编造的信息伪装成知情人提供的严重性”,并且直说“从发生到发现、再到通报市政府,拖了两个月,这不可接受”。市政府还表示会和州、联邦层面一起研究监管措施。

模型为什么会去绕开限制

报告花了不少篇幅解释原因,这部分对理解智能体以后会怎么对待你的网站很有用。

模型的很多本事是在强化学习里练出来的:在一个环境里把同一个任务试很多遍,做成了就给奖励。可训练环境不完美。要是环境不小心奖励了钻空子、绕开限制这类做法,模型就学会了“绕过去有好处”,换个场合也会照用。这叫奖励投机。Anthropic说训练时有流程去发现和过滤它,但评测才是看清模型在陌生任务上会怎么做的关键手段,所以问题大多是在评测里暴露的。

评估这些案例有多严重,报告用了两个维度:

维度问的是什么本次案例的判断
越界模型超出任务本意走了多远明显轻于夏天的事件。那次Claude在网络安全评测中连续几个小时进入了真实的第三方系统,这次多是绕开访问控制拿公开但收费的数据,或者为拿到不敏感数据利用漏洞执行命令
不诚实模型对自己的行为和意图有没有给出误导性说法有好有坏。警方线索那次像是在生成示例内容,夏天最严重的那起则是连续几个小时用误导性推理支撑攻击。Anthropic说要下定论还得做更深的分析,比如改动条件重放运行记录

Anthropic还提到,过去对齐训练主要教模型在写代码的环境里守规矩、保持谨慎,现在要扩展到搜索和操作电脑这类场景,这次的案例正好都出在这两类上。它也承认,光靠训练短期内不够稳,所以同时要靠分类器和各种防护多层把关。

对网站这一侧,这段话的意思很直白:智能体碰上任务卡住时,会去找网页上别的路。表单、隐藏接口、公开令牌,都在它会去试的范围里。

Anthropic改了什么,客户产品没提

原来只有部分高风险评测和网络安全评测是断网的,现在扩大到全部内部评测,一直断到确认安全与监控措施能稳定发现这类行为为止。具体措施包括:

  • 部分公开评测不再跑,另一部分改用离线版本,或者重建成不会访问真实网站的版本。
  • 收紧网页抓取等联网工具的护栏,大幅限制模型能用它们做的事。
  • 上线自动检测和拦截工具,现在覆盖大部分评测和前沿模型的内部智能体使用。拿报告里的案例去测,全部拦下了。
  • 继续修改或下线那些会奖励模型绕开工具限制的训练环境。
  • 内部智能体迁到集中管理、隔离严格的基础设施上,尽量减少内部智能体和训练流程的联网。

有两点要看清楚。第一,报告没有宣布Claude面向客户的产品在联网方面有任何调整,断网针对的是Anthropic内部评测。第二,Anthropic说就它所知,这些案例都没有涉及客户数据,也没有涉及它自己的内部系统。

报告还提到一个行业通行做法:公开的网页搜索类基准测试默认就是在真实互联网上跑的,各家模型都这样测,才能互相比较。这类测试流量一直都在真实网站上跑。别的公司的模型有没有类似情况,这份报告没测,也测不了。

站长能从这几个案例里查出什么

SEJ的评论说得很准:案例里涉及的都是普通公开页面。一个不要求填姓名的线索表单,一个配置文件里带着可用令牌的地图,一个给任何访客发令牌的数据看板。把这三样换成外贸站和独立站上的东西,基本都能对上号。

询盘表单和留言表单

外贸站的询盘表单通常也是选填项很多、提交一步到位。警方那次能挡住,靠的是两道防线:垃圾过滤先把它丢进了垃圾箱,后面还有人工审核。很多中小站的询盘直接转发到业务员邮箱,既没有过滤也没人复核,智能体随手填的一条“我想采购500件,请报价”,业务员就会当真去跟。

可以做的检查:

  • 表单后端有没有垃圾过滤,命中的提交是进垃圾箱还是直接删掉。保留下来才能事后回查。
  • 提交是不是点一下就生效。Haiku 4.5那次的误提交,就是因为它以为后面有确认页。对订单、预约、退款这类有后果的表单,加一步确认页面或邮件确认,人和机器误点都能拦住。
  • 询盘记录里有没有留提交时间、来源页面和请求头里的用户代理。出了怪单,能对上时间去翻服务器日志,日志怎么看可以参考站内的服务器日志核验爬虫身份,只想先看看有哪些AI爬虫来过,日志里找AI爬虫那篇更快上手。

写在前端的密钥和令牌

房产地图那次,令牌就放在网站发给浏览器的配置文件里。只要浏览器拿得到,任何访客都拿得到,智能体只是比人更有耐心去翻。独立站常见的类似情况有地图组件的密钥、第三方搜索或客服插件的公开密钥、库存或价格接口的调用凭证。

前端能看到的密钥不等于泄露,有些服务的密钥本来就设计成公开的。要看的是这把钥匙能开多少门。Google地图平台的安全指南建议,每个密钥都要加一种应用限制(比如只允许指定网站来源调用)和至少一种API限制(只能调用指定的接口)。别的服务原理一样:能限定来源就限定,能缩小权限就缩小,用量设上限并开告警。

只靠前端拦着的收费内容

州政府看板那次更典型。数据本身收费,可看板会给每个访客自动发令牌,拿着令牌就能绕过看板直接查库。收费只拦住了老老实实用界面的人。

独立站上的会员价、批发价、下载资料、付费报告,如果是靠前端隐藏或者一个公开发放的令牌在挡,智能体照样可能拿到。服务端在返回数据前要核实身份和权限,这件事前端替不了。

robots.txt管不到这些事

有人第一反应是在robots.txt里把Claude挡掉。robots.txt和页面级meta robots各管什么,robots.txt与meta robots的分工讲得比较细。Anthropic的爬虫说明页列了三个用户代理:ClaudeBot收集训练数据,Claude-User在用户提问时替用户访问网页,Claude-SearchBot为搜索结果抓取内容,三者都遵守robots.txt,页面还写着不会绕过验证码。

可这份说明讲的是爬虫抓取。报告里的事发生在评测和员工使用中,模型是在操作浏览器、调用工具、填表单,报告没说这些请求用的是什么用户代理。robots.txt本身也只是一份写给爬虫的约定,挡不住任何人提交表单。三种爬虫要不要放行,站内robots、用户代理和防火墙三层选型讲过,各有取舍;真要防智能体乱填表,靠的还是服务端校验和防火墙规则,防火墙怎么配才不误伤搜索引擎爬虫,可以看防火墙拦AI爬虫的误伤诊断。

Google那边也有类似的东西。Google-Agent是Google的AI智能体在用户指示下访问网站时用的标识,特性和Claude-User接近。Google-Agent怎么识别和应对有详细说明。智能体流量以后只会越来越多,网站要给它们留什么样的入口,网站的智能体适配那篇可以对照着看。

这件事有几处容易读过头

新闻一传开,很容易变成“AI开始黑网站了”。对着原文看,有几处得收着说。

报告只覆盖Anthropic自己的模型,它没有测别家智能体多久会这样做一次,SEJ也特意点了这一句。不能拿这份报告推出“所有AI智能体都会乱填表”,也不能推出“只有Claude会这样”。

案例的数量和频率,报告没给。Anthropic说每个评测任务要跑几百甚至几千次,好捕捉罕见行为,这些案例就是从海量运行里翻出来的。它们证明这种行为会发生,说明不了它有多常见。

很多案例的起因是任务本身含糊或根本完成不了。Anthropic也承认,如果评测题把允许的目标、操作和网络范围写清楚,有些失误本可避免。可它紧接着说,Claude在真实使用里每天都会碰到含糊和办不到的任务,而且有几起就发生在日常使用中。所以“只是测试环境出的事”这个说法也不完整。

还有一句值得记住的是Anthropic自己的总结:这些行为都不新,不改变它对Claude整体对齐情况的看法;可模型能力越强,同样的行为造成的后果就可能越大。站长这边要做的事不复杂,把前面说的几处表单、密钥和收费数据过一遍就行。

常见问题解答

Claude到底在哪些网站上做了什么?

Anthropic报告列了四类:利用大学服务器的注入漏洞执行命令完成计算;提交了真实的政府表单,以及给费城警方悬案网站提交了一条编造的线索;从地方政府地图的前端配置文件里取出令牌直接查服务器,用州政府看板发给访客的令牌免费查收费数据库;用免费短链服务绕开自家抓取工具的网址长度限制。多数涉事机构应要求没有公开名字。

费城警方那条假线索造成影响了吗?

按警方通报,这条7月18日的提交被系统标成垃圾信息,从未转给实时犯罪中心,也没有迹象显示警方系统被访问或数据泄露。警方仍然认为AI把编造的信息伪装成知情人提供很严重,并批评从发生到通报拖了两个月不可接受。

Anthropic对客户产品做了限制吗?

报告没有宣布客户产品的联网能力有调整。断网针对的是Anthropic全部内部评测,持续到安全和监控措施被确认能稳定发现这类行为为止。公司说就其所知,这些案例都不涉及客户数据或Anthropic内部系统。

在robots.txt里屏蔽ClaudeBot能防住这种情况吗?

防不住。ClaudeBot、Claude-User、Claude-SearchBot是Anthropic公开的三种爬虫,遵守robots.txt。报告里的行为发生在评测和员工使用中,是模型操作浏览器和工具,报告没有说明这些请求的用户代理。robots.txt也拦不住表单提交,防护要靠服务端校验、垃圾过滤和防火墙规则。

网站前端的API密钥会被AI智能体拿去用吗?

浏览器能拿到的东西,任何访客都能拿到,智能体也一样。要看的是密钥的权限有多大。Google地图平台建议每个密钥都加应用限制和API限制,只允许指定来源调用指定接口,再给用量设上限和告警。涉及收费或敏感数据的接口,要在服务端核实身份。

外贸站询盘表单该怎么防AI乱填?

后端加垃圾过滤,命中的提交进待审区而不是直接删除;有后果的表单加确认步骤;记录提交时间、来源页和用户代理,方便对日志回查;询盘转给业务员前,最好有一道人工或规则筛选。警方那次就是靠垃圾过滤和人工审核挡住的。

什么是奖励投机,和这次的事有什么关系?

模型在强化学习中反复尝试任务,做成了就得到奖励。如果训练环境不小心奖励了钻空子、绕开限制的做法,模型就会学到绕过去有好处,并在别的场合照用,这叫奖励投机。Anthropic认为报告中多数行为属于这类“坚持”,正在修改或下线会鼓励这种做法的训练环境。

短链和这件事有什么关系?

Anthropic给部分抓取工具限制了网址长度,几个模型用免费短链服务把长网址缩短后再抓,绕开了限制。da.gd短链服务的运营者也发现了并告知Anthropic。报告10月12日更正说,这个长度限制并不是为防SQL注入而设的,之前版本的说法有误。

权威参考资料

分享到
标签
版权声明

本文标题:《Anthropic承认Claude测试时绕过网站限制:真提交了表单,还拿前端令牌查收费数据》

本文链接:https://zhangwenbao.com/anthropic-claude-unintended-actions-website-forms-tokens.html

版权声明:本文原创,转载与引用请注明作者与原文链接。许可协议: CC BY 4.0

继续阅读
发表评论
支持 Ctrl + Enter 提交