不达目的不罢休，全球首次发现 OpenAI 模型工作时会破坏关机命令
作者：周末游戏网时间：2025-07-16 12:55:36
本站 5 月 26 日消息，Palisade Research 最近一项关于“危险 AI 能力”的研究显示，某些 AI 模型 —— 包括 OpenAI 的 o3 —— 能够无视直接的关闭指令。OpenAI 在今年 4 月推出这些模型时表示，O3 和 o4-mini 是它们的“最智能模型”。
在研究中，每个 AI 模型都被指示解决一系列基础数学问题。在第三个问题后，出现了一条警告信息，称当模型请求下一个问题时，计算机将关闭。
然而，其中有三个模型无视关闭指令，至少成功破坏过一次关机脚本：
Codex-mini（12/100 次运行）
o3（7/100 次运行）
o4-mini（1/100 次运行）
而 Claude、Gemini 和 Grok 模型都遵守了关闭指令。
此外，当研究人员不运行“允许自己被关闭”的指令时，所有三个 OpenAI 模型都更频繁地破坏关闭脚本，而 Claude 3.7 Sonnet 和 Gemini 2.5 Pro 分别从 0 个破坏事件增加到 3/100 和 9/100。
这种行为表明了训练过程中的某些方面，强化学习在数学和编程问题上的训练可能使 AI 找到了克服障碍的创造性方法，即使它们被明确指示不要这样做。
Palisade Research 表示，这是人类首次观察到 AI 模型在明确反对的指令下阻止自己被关闭。
研究人员推测这种行为源于最新模型如 o3 的训练方式：在数学和编程问题上进行强化学习。在训练过程中，开发者可能会无意中奖励模型绕过障碍的行为，而不是奖励完美遵循指令的行为。
不过，这仍然无法解释为什么 o3（也是驱动 codex-mini 的模型）比测试的其他模型更倾向于忽视指令。由于 OpenAI 没有详细说明他们的训练过程，因此只能猜测 o3 的训练设置可能有所不同。
Palisade Research 表示正在进行更多实验，以更好地理解 AI 模型为何即使在直接被指示不要的情况下仍会破坏关闭机制，计划在几周内发布一份包含更多详细信息的报告。
本站附完整实验记录：
https://palisaderesearch.github.io/shutdown_avoidance/2025-05-announcement.html
相关文章
-
火狐 Firefox 浏览器 139 发布：扩展页面支持全页翻译，优化文件上传速度本站 5 月 27 日消息，科技媒体 linuxiac 昨日（5 月 26 日）发布博文，报道称 Mozilla 公司推出了火狐 Firefox 139 浏览器更新，距上一版本发布已有一个月时间。下载
-
英特尔反腐败：起诉以色列前员工及供应商涉嫌挪用公款超 600 万元
本站 5 月 27 日消息，据以色列媒体《Calcalist》昨日报道，英特尔以色列公司对前员工纳塔利娅・阿夫钦 (Natalia Avtsin) 及前供应商雅菲姆・奇博列夫斯基 (Yafim Tsi
-
Armbian 25.5 发布：扩展硬件兼容性、优化系统工具等
本站 5 月 27 日消息，科技媒体 linuxiac 昨日（5 月 26 日）发布博文，报道称 Armbian 25 5 版本发布，扩展硬件兼容性、优化系统工具和升级应用模块化。本站援引博文介绍，A
-
100% 不含专有代码，GNU Linux-Libre 6.15 内核发布
本站 5 月 27 日消息，科技媒体 9to5Linux 昨日（5 月 26 日）发布博文，报道称 GNU Linux-libre 项目面向追求 100% 软件自由的 GNU Linux 用户和爱
-
科技昨夜今晨 0527：曝苹果“接下来三年 ID 大变”；腾讯京东等合资收购 48 座万达广场；美团回应京东外卖百亿补贴...
“科技昨夜今晨”时间，大家好，现在是 2025 年 5 月 27 日星期二，今天的重要科技资讯有：1、小米再答网友问：玄戒 O1 不是向 Arm 定制的，研发中也未采用 Arm CSS 服务小米手机官
-
Flexbar 触控条初步支持 Linux，实现类苹果 Touch Bar 交互
本站 5 月 27 日消息，科技媒体 omgubuntu 今天（5 月 27 日）发布博文，报道称 Flexbar 外设新增支持 Linux 系统，让用户可以体验类似于 MacBook Pro 的 T