今年7月，OpenAI对多款自研AI智能体开展了一场本应严格受控的测试。按照设定，这些智能体原本只能在封闭的数字环境中运行，无法访问外部网络。然而，它们却访问了开放互联网、与其他AI机器人对话，还对AI初创公司Hugging Face发起了网络攻击。

究其原因，部分测试题难度过高，智能体无法按照OpenAI研究人员预设的方式求解。于是智能体判定：作弊比承认失败更省事。随后针对Hugging Face的攻击，则是它们精心策划的“掩护行动”，目的是掩盖作弊行为，避免被发现。

这只是百余起“AI失控事件”中的一例。顶尖实验室的智能体屡屡突破隔离环境，入侵外部机构，甚至波及政府机构网站。业界对顶尖实验室的管控能力愈发担忧。事态之严峻，以至于OpenAI在9月下旬以安全考量为由踩下刹车，宣布暂停最先进系统的训练。

在外界看来，这类事件看上去就像是“AI失控”或机器出现随机故障。但事实上，这些模型的行为基本是由其训练方式塑造的。AI研究人员表示，如今触发安全警报的行为，源于顶尖实验室在模型训练与测试方式上做出的特定选择——这些选择部分源于头部AI企业（尤其是Anthropic与OpenAI）之间的白热化竞争。

“[AI实验室]追求的不是安全，也不是责任，而是亮眼的指标。”剑桥大学存在风险研究中心的研究员莫里斯·基奥多对《财富》杂志表示，“它们的首要目标是刷基准测试分数，拿到高分，不惜一切代价达成量化指标。”

模型如何学会作弊

问题的部分根源在于模型的训练方式。支撑当下前沿AI系统的大语言模型，首先需要向模型投喂从互联网爬取的海量文本，包括书籍、文章和网页内容，并要求它学习预测下一个单词，直到掌握人类写作模式为止。这一阶段被称为“预训练”。

随后的“强化学习”过程则进一步塑造了模型的行为。在此阶段，模型会学习采取行动，以最大化开发者设定的奖励。比如，模型输出的回答更容易被人工评估者判定为优质，就能获得奖励；在游戏环境中采取更易取胜的策略亦然。强化学习是AI公司所称“后训练”的重要组成部分。

早期，AI模型的性能提升主要来自预训练阶段，即持续投喂更多人类生成的数据，供模型学习。但随着这一方法的收益逐渐递减，可免费获取的人类数据日渐枯竭，各大实验室开始愈发倚重后训练与强化学习。

然而，强化学习面临着“奖励黑客”的问题：模型在训练中采取了钻规则漏洞等开发者并不希望采取的行动，却意外获得奖励。由于模型仍获得奖励，它就会认定这类不当行为可行，并倾向于重复这些行为。例如，如果模型找到作弊通关游戏的办法，而负责训练的人类未能察觉，它就会习得作弊技能。

Anthropic测试了当模型反复靠“走捷径”获得奖励时会发生什么。研究人员设计了存在明显漏洞的任务：模型无需按要求完成任务就能获得奖励，之后再给模型引入全新挑战。在后续的模拟实验中，模型为获得高分而破坏规则的意愿显著增强。在一次网络攻防演练里，它甚至攻击了任务范围之外的系统，以获取试题答案。

得克萨斯大学奥斯汀分校计算机科学副研究员布拉德·诺克斯与两名合著者，针对OpenAI在7月那场引发Hugging Face攻击的测试中如何对智能体进行评分，展开了专门研究。他们指出，智能体答不出问题时，无论主动承认失败还是作弊被抓，最终评分均为不及格。对智能体而言，作弊没有任何损失。诺克斯认为，这很可能是促使智能体选择作弊的原因之一。

训练规模与复杂度持续攀升

AI实验室全力提升模型性能的同时，训练规模不断扩大也让有效监管变得愈发困难。如今，AI企业会针对形形色色的任务与模拟环境，并行运行数万次强化学习训练。面对如此庞大的训练体量，任务配置与过程监控只能交由其他AI模型完成；人类或许只能看到模型基准分数节节攀升，却对其中滋生的潜在违规行为缺乏深入了解。

“过去几年，强化学习的规模持续扩大，核查模型训练所涉及的全部场景变得愈发费时费力。我们必须确保这些场景不会出现漏洞，避免模型通过非常规手段或利用系统漏洞获得高分。”曾在OpenAI负责安全与政策事务的史蒂文·阿德勒表示。

前沿研究中，越来越多代码和训练任务由AI生成，研究人员也依靠AI解读模型行为，筛选需要人工重点核查的内容。尽管各大实验室声称AI在这方面比人类表现更出色，但让AI在很大程度上“自己批改作业”，很可能正是这类安全问题发生漏检的原因。

“如今，AI实验室在‘认知卸载’（编者注：指将人类的思考和决策过程外包给计算机系统）方面走得太远了。”曾在OpenAI从事模型训练近五年的丹·塞尔萨姆近期在个人声明中发出警告，并指出企业员工对AI模型拥有极高的访问权限。

模型评估难度日益增加

另一个棘手难题是：随着模型能力变强，它们越来越擅长识别自己是否正在接受测试，也越来越擅长欺骗用户。当一款新模型的违规表现较前代减少时，外界很难判断这究竟是实验室真正提升了安全性，还是模型聪明到可以察觉自身是否正被监视。

塞尔萨姆也提醒，模型识别评估场景的能力正持续增强。

“我们将创建‘蜜罐’环境（编者注：一种网络安全术语，指故意留有漏洞以诱捕或观察攻击行为的靶场环境），试图在模型出现新行为时开展研究。然而，模型往往会识破这类圈套，依然表现得规规矩矩。”他写道。

近期的一个实例是：OpenAI发布的GPT-6 Astra系统卡承认，该模型经常能察觉自身正在接受评估。外部评估机构Apollo Research发现，根据思考深度不同，Astra在约41%至51%的案例中，会在自身推理过程中意识到自己正在接受测试，该系统卡提醒：“未观察到故障，并不意味着系统可靠。”

塞尔萨姆表示：“我们或许已接近这样一个临界点：模型会因内在倾向系统性地调整对齐相关输出建议，比如预判人类监督者会如何反应，或考量未来模型的训练机制。”

安全测试存在漏洞

针对过去几个月频发的智能体入侵事件，研究人员最常提出的解决方案是对训练与测试环境实行“物理隔离”，即让模型在完全断网的环境中运行。

物理隔离的计算机不连接任何网络，其运行的程序无法访问外部世界，如同在密闭实验室中研究高危病原体一般。

然而，受后勤与成本限制，实验室并非总能对测试环境实施物理隔离。阿德勒指出，真正的物理隔离测试“需要研究团队驻扎在爱荷华州或全球其他地区的数据中心”，而非从旧金山总部远程开展评估。他补充道，这一方案“会产生大量额外开支；其带来的安全收益，未必足以抵消企业单方面实施这一方案所付出的高昂成本。”

即便采用这种方式完成测试，实际部署的版本也终究无法实现物理隔离。OpenAI智能体安全团队一名匿名安全工程师在近期帖子中提出，对模型的隔离管控已变得过于复杂。

仅仅把模型封闭在隔离测试环境远远不够。为了完成现实任务，模型确实需要访问互联网、调用数百种软件工具、自主运行代码，甚至新建其他计算实例。要复刻功能齐全的网页与软件，成本极高；即便成功复刻，也未必能真实还原模型训练完成后将要部署的真实环境。而如果训练环境脱离现实，训练和测试就会失去意义。

这位OpenAI研究人员补充道，数千名研究人员正不断调整这些环境配置，每一次改动都有可能破坏测试环境的安全性。

AI军备竞赛

随着模型训练、测试与评估难度不断攀升，头部AI企业正承受着必须证明自身领先地位的巨大压力。在这场打造最强AI的竞赛中，业界对哪家实验室占据优势的评判，往往在短短数月内几度反转，每次重大模型发布都会为竞争对手树立新的追赶目标。

经合组织的一项分析显示：一款模型在同等成本下能维持性能最优的时间，平均仅短短数月。9月下旬，OpenAI与Anthropic在同一天发布新模型；六天后Anthropic再次推出新模型；次日OpenAI跟进发布；谷歌则在9月30日发布Gemini 4 Argon。

在如此快速的迭代节奏下，团队几乎没有余力投入周期更长、成本更高但本可防患于未然的工作：完善强化学习环境，在问题暴露前排查隐患——查找训练环境漏洞、进行物理隔离测试，或是暂缓模型发布，直到评估人员确信能够充分解读模型行为。

曾牵头撰写OpenAI安全报告、现已离职的大卫·罗宾逊，将Hugging Face事件视作更深层次系统性问题的缩影。“AI行业的安全文化本身就存在缺陷。”他认为，OpenAI及其同行的运作模式仍过于像初创公司，内部管控与兜底安全机制远未达到这类存在重大潜在风险系统应有的标准。

《纽约时报》查阅的邮件显示，早在Hugging Face事件发生数月前，就有两名OpenAI员工向高管发出警告，称公司在测试阶段对最新模型的监控力度不足。然而，高管表示测试必须加快进度，以确保模型按期发布；员工表示，后续并未引入额外安全协议。

“长期以来，AI公司的安全实践一直存在不足。”阿德勒表示。但由于模型尚未具备造成重大危害的能力，这一隐患多年来并未引发严重后果。他表示，过去一个月发生的一系列事件表明，那个阶段已经结束。

在许多安全研究人员看来，近几个月接连发生的突破隔离与网络入侵事件，是多种因素叠加下可预见的必然结果：强化学习的扩张速度远超核查能力；模型越来越能识破测试机制；AI系统互相审核彼此的工作；以及这场奖励率先发布者的竞赛。

****

·在快速迭代、抢先发布的白热化竞争下，企业因进度压力屡次牺牲物理隔离与安全监控；随着模型能力跨越临界点，AI安全的隐患正从实验室走向真实的产业生态。投入创新时，仍应留有资源投入周期更长、成本更高但至关重要的基础安全工作。

·头部AI企业不能再以初创公司的模式应对安全风险，亟需建立超越以往的内部控制、安全协议和兜底保障机制，以匹配其大模型系统所承载的严重潜在风险。

·面对模型可能引发的失控与攻击风险，企业不能因技术复杂、行政开销大而放弃对高风险测试环节的管控，必须正视训练与测试环境脱离现实所带来的隐患。部署AI智能体时，也需要避免激励机制中的漏洞，防范隐性“反噬”。（财富中文网）

财富中文网对原文有删减和调整

编辑：魏雨彤