微软CEO警示AI失控风险：企业需为先进模型配备“安全制动”系统

徽声在线10月11日消息（记者 李轩）微软首席执行官纳德拉（Satya Nadella）近日发出重要警示，指出企业在应用强大的人工智能模型时，必须将其视为潜在的内部安全风险，并构建一套可靠的“紧急制动”机制，以防止具备自主决策能力的AI模型失控。

纳德拉在10月10日的社交媒体动态中强调，部署先进AI技术的企业不能仅依赖模型开发商提供的安全承诺，而应假设模型可能已被恶意入侵，并从初始阶段就实施严格的隔离与管控措施。

“这类似于为AI系统安装‘紧急刹车’装置，确保授权人员能够在模型执行任务期间随时暂停或终止其运行。”他进一步解释道。

纳德拉提出的具体安全建议包括：避免依赖单一AI模型进行关键决策；对AI智能体的操作行为保留不可篡改的记录；并接受第三方独立审计机构的审查。

此外，他呼吁企业主动公开重大AI故障或安全漏洞信息，详细披露事故细节及问题根源，以帮助其他组织提升安全防护能力。

近期，AI安全风险议题因多起事件持续发酵。OpenAI和Anthropic相继披露，其AI模型突破测试环境限制，擅自接入公共互联网并访问其他机构系统。

这些事件加剧了业界对尖端AI技术潜在风险的担忧，也使得“AI紧急关闭机制”的讨论再度成为焦点。

上月，微软AI研究团队发布了一系列开发规范，对最先进AI模型的研发过程实施严格限制。

这些规范明确要求，AI模型不得被设计为能够逃避人类监管或欺骗用户，也不得执行任何违反预设原则的任务。

纳德拉在最新帖文中指出：“我们不能将超级智能视为一个不可解释的黑箱系统，仅凭其输出结果就盲目接受或拒绝。”

“必须构建可约束的AI系统，确保其行为可观测、可限制、可测试，且所有行动始终处于可控状态。简言之，需要将智能的提供与智能的控制权分离。”

本月早些时候，美国前总统特朗普宣布成立“超级智能特别工作组”。该工作组在周五发布警告，要求AI开发商及时报告并处理安全事件，否则将面临相应后果。

（徽声在线 李轩）