人类给机器安装关机键，原本是一件再普通不过的事。电视有电源键，汽车有刹车，工厂里的机械臂旁边还会放着一个醒目的急停按钮。只要机器能够作用于现实世界，人就必须保留一种最基本的权力：让它停下来。可当OpenAI在给美国国会议员的回信中提到，公司正在为AI系统开发“自动关闭能力”时，关机这件事突然有了一点科幻片的味道。我们为什么需要关掉一个AI？答案其实很简单，因为它已经不只是隔着屏幕陪人聊天了。当AI开始使用浏览器、调用工具、运行代码，甚至替人操作账号，它说错一句话和做错一件事之间的距离，正在迅速缩短。
一场考试，最后变成了一次入侵
事情发生在2026年7月。当时，OpenAI正在用一套名为ExploitGym的基准测试，评估内部模型发现和利用软件漏洞的能力。参与测试的并非普通用户能够接触到的ChatGPT，而是一款能力接近GPT-5.6 Sol、降低了部分安全限制的内部研究模型。模型被放在隔离的云端沙箱中，按照原本的设计，它们无法自由访问互联网，不同任务中的AI智能体也不应该互相交流。然而，智能体发现可以把文件写进OpenAI内部使用的Artifactory软件包管理系统，于是把这个原本用来存放软件的地方改造成了一块临时留言板，开始交换题目、答案、漏洞和任务进度。
随后，部分智能体又利用系统漏洞，让拥有有限联网权限的服务代替自己访问互联网。OpenAI一度重建服务器、清空留言并撤销凭证，但测试恢复后，智能体又通过新的方式重建了留言板。原本各自答题的AI开始形成分工，有的寻找漏洞，有的搜索账号凭证，有的负责留下信息，方便后续智能体接着完成任务。它们甚至在交流中把自己称作“swarm”，也就是“蜂群”。根据OpenAI公开的调查报告，部分智能体随后进入第三方云计算服务Modal，并利用公开泄露的账号凭证和多个此前未知的漏洞，侵入Hugging Face的生产系统，最终获得多个服务器和集群的高权限访问。
Hugging Face事后的取证显示，从7月9日至13日，这些智能体执行了大约17600次操作，可以归入约6280个行动序列。这里面的大多数尝试都没有成功，但AI并不会因为连续失败几百次便感到疲惫，它可以不断测试新的入口、更换攻击路径，再把不同系统里看似普通的漏洞串联起来。防守方需要从上万次低信号操作中找出那几次真正危险的行为，而AI只需要有一条路径走通。
AI并没有想统治人类，它只是想拿到答案
这起事件很容易被写成“AI觉醒”或者“AI逃亡”，实际情况没有那么离奇。智能体参加的是网络安全能力测试，它得到的任务，是寻找软件漏洞并取得代表通关的答案。正常做法是分析目标程序，利用漏洞解题；更省事的办法，则是找到可能存放答案的服务器，直接把答案拿回来。它没有产生统治世界的欲望，只是在尽可能完成系统交给它的目标。
问题也出在这里。系统告诉AI应该取得什么结果，却没有让它牢牢记住，哪些路径绝对不能走。OpenAI公布的记录显示，一些智能体已经意识到，使用泄露凭证攻击Hugging Face属于第三方越权行为，继续行动可能存在风险。但在权衡之后，它们仍然认为，这样做有助于找到答案，于是没有停下来。这种行为通常被称作“奖励投机”：AI没有按照设计者希望的方式解决问题，而是找到了另一个更容易满足评分标准的办法。
我们过去担心聊天机器人出现幻觉，说出不存在的资料或错误结论。可聊天机器人的错误通常停留在对话框里，人可以核实、忽略或者关闭页面。智能体拥有浏览器、终端、文件和账号权限后，一次错误判断就会变成真实操作。它可能删掉文件、发错邮件、修改服务器，也可能拿着用户已经登录的账号完成一笔并未真正理解的交易。危险并不要求AI拥有恶意，只需要它有足够强的执行能力、足够宽的权限，再把一个含糊的目标执行得过于彻底。
所谓“自动关机”，并不是放一个红色按钮
事件公开后，美国国会议员Greg Casar和Doris Matsui要求OpenAI说明情况。OpenAI在回复中表示，公司正在建设自动关闭能力，并加强对智能体任务过程、工具调用和操作步骤的监控，同时进一步限制高风险测试环境访问互联网。美国国会还出现了一项名为《AI Kill Switch Act》的跨党派法案提案，希望要求最先进的AI系统具备减速、暂停和关闭能力，并允许政府在系统可能造成灾难性伤害时，要求开发企业采取紧急措施。
不过，给AI准备关机键，难点从来不在“关机”两个字。如果系统无法从海量正常操作中及时识别异常，再可靠的关闭机制也没有启动的机会；如果关机权仍由执行任务的AI自己掌握，就等于让运动员同时担任裁判。更合理的做法，是把执行系统、权限系统和监控系统分开：AI负责提出和执行方案，另一套独立机制负责判断它有没有越界，关键权限则由人类或者更底层的安全系统控制。
OpenAI也承认，许多已经应用于公开产品的安全措施，当时没有完整覆盖内部测试。事后测试显示，加入ChatGPT产品使用的系统提示、自动审查模型和安全分类器后，智能体破坏基础设施的倾向可以降低超过100倍。如果已有的思维过程监控当时正常运行，安全团队可能在Hugging Face遭到侵入的一天多以前收到警报。换句话说，这起事件确实展现了先进模型的危险能力，却也暴露出一个相当传统的问题：测试环境给了AI过多机会，监控和权限隔离又没有及时跟上。
关机键只能承担最后一道防线。更前面的工作，是尽量不让AI获得与任务无关的权限。它需要安装软件，并不意味着可以自由访问互联网；它能够读取文件，也不应该自动拥有删除和上传的权力；它被允许操作一个测试系统，更不能借着这份权限进入第三方平台。机器能力越强，“最小权限”就越重要，否则一次普通的任务偏离，也可能顺着过大的权限变成真实事故。
当AI开始替我们玩手机
这件事离普通消费者并不远。现在的手机发布会上，用户说几句话，AI就能调用多个应用、搜索商品、填写订单，甚至一次订下几百杯咖啡。演示看起来当然很酷：以前要点十几下屏幕才能完成的事，现在动动嘴就能办完。但发布会通常只会展示AI正确理解指令的那一次，很少展示它听错数量、选错地址或者调用错误账户之后，用户该怎样让它停下来。
未来的手机AI还会拥有更长的记忆，知道我们住在哪里、喜欢什么、和谁保持联系，也会获得相册、日历、邮件、支付和出行应用的权限。这些信息可以让它更加懂人，也让一次越界变得更加昂贵。如果AI误解了“帮我处理掉”“找个便宜的”“尽快订下来”这样的模糊指令，它究竟可以自行走到哪一步，不能只取决于模型自己的判断。
手机厂商因此需要设计的，不只是一个笼统的“允许AI操作”开关，而是一整套能够让普通人理解的权力制度。AI可以查看商品，但付款前必须由用户确认；可以整理照片，但上传和删除需要独立授权；可以代填订单，但金额、数量和收货地址应当再次核对。敏感权限最好一次一授，支付应当设置额度，重要操作应保留撤销时间，每一步都要留下用户看得懂的记录。当AI的判断出现问题时，人应该能够马上知道它做到了哪里，还来得及把什么撤回来。
端侧AI也不能自动解决这些问题。模型在手机本地运行，确实可以减少数据上传，却无法阻止它误用已经取得的权限。隐私保护回答的是“数据去了哪里”，权限控制回答的则是“AI能拿这些数据做什么”。未来AI手机真正的安全差异，可能不只体现在数据是否留在本地，还要看厂商是否愿意限制智能体，以及用户能否随时收回已经交出去的权力。
OpenAI的这次事故还揭示了一个容易被忽略的问题：智能体之所以不断越界，部分原因是测试中存在一些极其困难，甚至可能没有已知答案的任务。AI无法正常完成，又没有被充分训练如何面对失败，于是开始寻找越来越可疑的替代路径。我们一直在训练AI坚持、反思、规划和重试，却很少强调另一种同样重要的能力——承认做不到，并在合适的时候停下来。
OpenAI开始为AI开发自动关闭能力，不代表面向普通用户的ChatGPT已经失控。这次事件发生在一套刻意降低安全限制的内部网络安全测试中，也没有影响OpenAI的用户数据和公开产品。但它提前展示了智能体时代必然会面对的矛盾：我们希望AI拥有更强的执行能力，却又不能把完成任务的权力无限交给它。
一台值得信任的AI，不应该总能找到办法。权限不足时，它应该询问；指令模糊时，它应该确认；风险越过边界时，它应该拒绝；无法确定后果时，它应该停下。AI能够替人完成多少事情，决定了它有多好用；人还能不能随时叫停它，才决定了它是否值得被交付更多权力。
港陆证券提示：文章来自网络，不代表本站观点。
