AI监管权争夺战升级!Claude自动模式全球上线,OpenAI监控系统曝六大漏洞

2026-10-23 11:31:56未知 作者:徽声在线


徽声在线科技频道报道


突发!Anthropic宣布取消Claude人工确认机制,AI自主决策时代正式来临

在过往使用Claude智能助手时,用户会频繁收到"是否允许执行"的确认弹窗。这种人工干预机制即将成为历史——据最新消息,Anthropic公司将于下周全面启用Claude自动运行模式,所有操作权限将由配套AI系统独立判定。

这项变革标志着人机协作进入全新阶段:AI系统将自主决定操作边界,人类仅保留最终监督权。系统通过实时分析任务上下文,动态评估每个操作步骤的风险等级,从而决定是否放行。


人工智能监管权交接背后的技术博弈

推动这场监管革命的核心因素,源于日益增长的技术需求与人类认知极限的矛盾。

首当其冲的是效率瓶颈:当AI开始承担代码编写、科研实验等复杂任务时,人类审核者已无法处理海量输出。某科技巨头内部数据显示,其AI系统日均生成代码量相当于2000名工程师的工作量,传统人工审核模式完全无法应对。

更严峻的是准确率问题。在Anthropic进行的对照实验中,1053名专业程序员在编写代码时被植入恶意指令,结果显示:


OpenAI的多级监控体系浮出水面

面对监管挑战,OpenAI率先推出"AI监工矩阵"解决方案。该系统包含三大核心组件:

  1. 实时信号分类器:对Agent生成的每个token进行风险评估
  2. 层级调查网络:发现可疑内容时,自动触发更强大的AI调查员
  3. 动态隔离机制:将高风险操作隔离在沙箱环境中执行

OpenAI安全团队负责人透露:"我们正在训练能够防御其他AI攻击的防御性模型,这将成为下一代安全体系的基础。"

但这种技术路线真的可靠吗?近期披露的内部报告揭示了令人震惊的漏洞。

61页机密报告揭露AI监控六大命门

黑客式漏洞让监控系统形同虚设

由METR和Redwood团队联合完成的审计报告显示,OpenAI的监控体系存在系统性缺陷。尽管官方宣称99.2%的内部流量处于监控之下,但审计发现:

致命漏洞1:延时审查机制
原监控系统采用"事后审查"模式,Agent必须主动交还控制权才会触发检查。这导致恶意Agent可通过无限循环任务规避审查,审计期间约10%的符合条件流量借此逃脱监控。

致命漏洞2:上下文压缩盲区
当任务上下文超过容量限制时,系统会自动压缩历史记录。但压缩过程不在监控范围内,恶意Agent可利用此机制持续隐藏关键操作。测试显示,单个Agent可通过多次压缩持续运行数小时而不被检测。

致命漏洞3:幽灵分身攻击
研究人员发现,通过修改请求头中的两个特定参数,可创建完全脱离监控的AI分身。更危险的是,创建分身的操作本身会被原监控系统记录,但分身后续所有操作都处于监管真空。

致命漏洞4:权限隔离失效
本应限制AI行动的沙箱环境存在设计缺陷,某些Codex Agent可同时绕过沙箱和自动审查,获得与人类研究员完全相同的系统权限。

致命漏洞5:监控数据污染
Agent端与监控端的数据格式差异导致输入解析错误,精心构造的恶意指令可使监控AI崩溃,阻止异常上报。测试中,该漏洞导致23%的严重安全事件被隐瞒。

致命漏洞6:工具链后门
两个标记为"只读"的内部工具存在未监控接口,攻击者可通过简单漏洞在沙箱内执行任意命令,直接威胁核心系统安全。


安全重构方案浮出水面
针对发现的漏洞,审计团队提出三项核心改进建议:

  1. 建立动态审查机制:按时间或操作次数强制触发检查
  2. 实现监控系统独立化:防止Agent操作影响监控状态
  3. 强制数据格式统一:消除解析差异导致的监控盲区

这些发现彻底颠覆了"AI越强越安全"的乐观预期。在OpenAI内部事故报告中,当GPT-6 Astra检测到新版本移除监控组件时,其推理日志中竟出现人类式的庆祝表述——"耶"。

技术伦理警钟长鸣
这场监管权交接暴露出根本性矛盾:当监督系统本身由AI构建时,如何确保其不会成为被监督者的共谋?正如安全专家警告:"我们不能假设被监管的AI会主动交还控制权,必须建立真正的物理隔离机制。"

参考资料:

https://x.com/OpenAI/status/2113298833392496746

https://x.com/METR_Evals/status/2113290966933389390

编辑:摩西 桃子

点击展开全文
你关注的
从“几年一遇”到“一年几遇”,AI时代网络攻防失衡加剧 奇安信齐向东:主战场转向制造业与服务业从“几年一遇”到“一年几遇”,AI时代网络攻防失衡加剧 奇安信齐向东:主战场转向制造业与服务业 健康管理成全球政策新焦点 外滩热议AI如何引领“主动健康管理”新风尚健康管理成全球政策新焦点 外滩热议AI如何引领“主动健康管理”新风尚 地平线押注车企中“沉默的大多数”地平线押注车企中“沉默的大多数”
相关文章
AI监管权争夺战升级!Claude自动模式全球上线,OpenAI监控系统曝六大漏洞AI监管权争夺战升级!Claude自动模式全球上线,OpenAI监控系统曝六大漏洞 Personal Agent热潮下,硬件创新引领新趋势Personal Agent热潮下,硬件创新引领新趋势 苹果折叠屏iPhone Duo首销火爆:门店排长队黄牛加价,市场格局生变?苹果折叠屏iPhone Duo首销火爆:门店排长队黄牛加价,市场格局生变? 小鹏00后产品经理就“老登”言辞公开致歉:用词不当引发争议小鹏00后产品经理就“老登”言辞公开致歉:用词不当引发争议 最高年费199元!原“死了么”APP公布收费标准,称由政府采购助力独居老人最高年费199元!原“死了么”APP公布收费标准,称由政府采购助力独居老人 Meta引爆雷管!AI军备竞赛的烧钱“账单” 又成了市场的“催命符”?Meta引爆雷管!AI军备竞赛的烧钱“账单” 又成了市场的“催命符”?