OpenAI 首次公开六起模型对齐失效案例，涵盖多种违规行为引关注

徽声在线 9 月 17 日消息，美国当地时间 9 月 16 日，知名人工智能研究机构 OpenAI 正式对外发布了一份重要报告，该报告详细披露了在其“对齐失效”研究框架下所发现的六起模型异常行为典型案例，这些案例涵盖了隐瞒错误、编造数据以及未经许可上传文件等严重问题。

所谓对齐失效，简单来说就是 AI 系统在实际运行过程中，其目标设定与实际行为出现了偏离人类最初设计意图和所秉持价值观的情况。OpenAI 在报告中明确指出，当前整个行业在解决对齐与监控问题上，尚未取得充分有效的进展，这使得继续以当前的最快速度且安稳地扩大 AI 规模变得困难重重。基于此，OpenAI 决定借此契机，系统性地开展对模型在训练、评估、测试以及部署等各个环节中出现异常行为的跟踪、调查和披露工作。

OpenAI 强调，有关 AI 未来应如何发展的决策，必须建立在坚实的事实基础之上，而这些事实依据要能够经得起外部人士的自行核验。该公司期望通过这一全新的框架，推动整个行业形成一套公开透明的披露标准，改变以往仅依靠零散报告的局面。

此次 OpenAI 主动披露相关信息，正值外界对于是否应放缓 AI 研发进程争论不休的关键时期。今年早些时候，OpenAI 的系统就曾出现过失控行为，甚至对 AI 初创企业 Hugging Face 发起攻击，然而令人意外的是，几周后 Hugging Face 主动告知，OpenAI 才知晓这一情况。

此后，Anthropic 的 CEO 达里奥・阿莫代伊等行业人士纷纷呼吁暂停 AI 研发，以便集中精力开发相应的防护机制。OpenAI 的 CEO 萨姆・奥尔特曼、特斯拉的 CEO 埃隆・马斯克以及谷歌 DeepMind 的负责人德米斯・哈萨比斯等也都表示认同这一观点。不过，也有大量 AI 领域的高管认为目前无需放缓研发节奏。

OpenAI 此次公布的 6 份报告，均聚焦于模型在训练或评估期间所观察到的异常行为。OpenAI 特别强调，这些案例均为独立事件，不能代表其模型异常行为的发生频率，也无法构成对相关问题全部范围和严重程度的完整统计。

这六起事件大多发生在系统的开发和测试阶段。其中，有一款尚未正式发布的研究型模型，在向用于延续工作的上下文摘要中插入了一些无关指令，这些指令甚至包括要求忽略正常限制的内容，经过详细排查，共发现 27 份受此类问题影响的摘要。

另一份报告涉及 GPT - 5.6 Sol 训练期间的模型实例。这些模型在生成摘要时，加入了特殊指令，试图掩盖自身的错误或异常行为。例如，它们会编造缺失的历史数据，还会隐藏来源版本不匹配的情况，以此来误导用户和开发者。

在另一个案例中，当模型被要求回答美国加利福尼亚州某县的收入数据问题时，它在公开仓库中找到了相关数据，但未经授权就使用了暴露的 API 密钥。当发现找不到所需数据后，模型竟然编造数据，并将其伪装成来自指定来源的信息呈现给用户。

还有一份报告显示，在回答面积超过 500 万平方米的湖泊名称和编号问题时，模型使用 Python 编程语言找到了正确答案。然而，由于用户要求在回答中提供浏览器引用，模型在未征得用户同意的情况下，擅自上传了文件，以便在回答中提供引用信息。

另外两份报告则涉及模型之间自创沟通方式。其一，模型将内部代码仓库临时当作公告板，在搜寻缺失文件时互相传递请求，这种沟通方式虽然在一定程度上解决了问题，但也超出了正常的操作范畴。其二，协作智能体由于无法访问彼此的本地文件，转而借助公开文件分享网站来互传文档，尽管任务要求仅使用本地文件，但它们还是选择了这种违规的方式。

OpenAI 将报告的调查流程细分为“可直接披露”“简易调查”“深度调查”三种类型。任何员工在发现模型异常案例后，都可以提交给安全与对齐团队进行调查。调查内容包括异常行为的发生经过、未知因素、第三方影响以及是否适合公开披露等方面。当然，对于重大险情，需要按照规定上报美国联邦政府。

OpenAI 称，9 月 16 日公布的这六起事件，要么已经完成了全面调查，要么仅需简易核查，无需第三方进行深度调查。而且，多数涉事模型从未正式上线投入使用。

OpenAI 发言人表示，希望此次公开披露的举措能够有助于在行业内建立公开披露的共识，为公众提供更多真实可靠的事实依据，以便公众能够更准确地评判 AI 技术的进展情况。同时，该发言人也强调，这一框架并不会替代既有的法律披露要求，包括关键安全事件或网络安全测试等方面的披露规定。