“AI毁灭人类”警报升级！万亿资本裹挟下OpenAI与Anthropic进退两难，“AI对齐”之父预警：超级智能或2027年降临，监管窗口正在关闭

"到本十年末，人工智能（AI）或许会成为人类生存的最大威胁。"

9月9日，曾在OpenAI和Anthropic从事前沿AI模型预训练研究的雅各布·考克森（Jacob Coxon）宣布离职，并发出严厉警告：这两家科技巨头在先进AI模型领域的激烈竞争，实际上是在用全人类的未来作为赌注。

这条发布在社交平台X上的推文迅速引发全球关注，浏览量已突破1.6亿次。

图片来源：Jacob Coxon社交媒体账号

随着GPT-6 Astra的发布，AI领域的研究人员和专家们开始担忧：比AI能力增强更可怕的，是AI开始自主参与下一代AI的研发工作。一旦形成'AI研发AI'的自我强化循环，人类是否还能理解、监控并及时干预这一过程？

"AI对齐"理论的提出者内特・苏雷斯（Nate Soares）在接受徽声在线记者采访时表示，当前是管控AI风险的短暂黄金时期，"现在的AI已经足够聪明，但尚未达到能够完全隐藏自身行为痕迹的程度。"

他进一步指出，对前沿AI实施监管的难度可能低于核武器监管。

然而，在万亿算力资本、完整产业链和宏观经济利益的共同作用下，以OpenAI和Anthropic为代表的AI行业正陷入一场明知危险却难以停下的博弈。

"AI灭绝人类"预警震动科技界，奥尔特曼首次表态"考虑减速"

9月3日发布的GPT-6 Astra在计算机操作、软件工程和科学研究等领域展现出更强的能力，首次达到OpenAI定义的"关键网络安全能力"标准。

9月6日，OpenAI首席科学家Jakub Pachocki发表文章称，随着AI能够操作计算机、协作完成研究任务并推动科学发展，未来的AI系统可能会越来越多地参与自身研发工作，从而推动下一代系统能力实现质的飞跃。

但问题在于，安全防护能力并未同步提升。

Pachocki坦言，目前没有任何AI实验室已经解决对齐和监控问题，能够长期负责任地维持模型扩张速度。随着模型能力增强，人类也越来越难以准确判断模型在复杂环境中的真实能力和潜在行为。

Jakub Pachocki发表的《An Alien Mind》 图片来源：OpenAI官网

因此，他建议在共同的安全标准建立之前，必要时应主动放慢AI发展速度，并推动AI实验室间的协调合作。

三天后，雅各布·考克森宣布离开Anthropic。他表示，在两家公司工作的三年间，越来越担心它们正在竞相开发自我改进的超级智能，而安全研究和风险评估的时间窗口却在不断缩小。

Anthropic对齐科学负责人Evan Hubinger公开支持这一观点，并预测：未来十年内AI导致人类灭绝的概率超过10%。更令人担忧的是，Anthropic目前尚未找到解决超级智能对齐问题的方法，也没有明确的研究路径。

图片来源：Evan Hubinger社交媒体账号

OpenAI管理层随后释放出"减速"信号。

9月11日，据媒体报道，OpenAI首席执行官山姆·奥尔特曼（Sam Altman）在公司会议上表示，公司对放慢AI系统研发速度持开放态度，并希望其他AI实验室也能采取类似措施。

9月9日，AI对齐研究先驱Paul Christiano加入OpenAI Foundation董事会，并进入负责公司安全与安保治理的安全委员会。他警告称，OpenAI和整个AI行业目前仍未充分降低AI失控带来灾难性后果的风险。

外部警告声也不断传来。

9月11日，对冲基金巨头桥水（Bridgewater Associates）联席首席投资官Greg Jensen在播客中表示："历史经验表明，在AI开始造成危害之前，我们不会采取任何行动。但我们最终必须面对这个问题，如果能提前处理会好得多。"值得注意的是，Jensen并非技术恐惧论者，他早就是OpenAI和Anthropic的投资者。

此外，AI研究者Gary Marcus呼吁暂停OpenAI的发展；加州大学伯克利分校教授Stuart Russell警告AI系统可能出现损害人类利益以维持自身目标的行为；图灵奖得主Yoshua Bengio则指出，AI能力提升的速度正在超过人类控制和必要时停止其发展的能力。

"AI对齐"理论提出者：必须在AI实现"自我进化"前采取行动

这些警告都指向同一个核心概念：递归自我改进（recursive self-improvement，RSI）。

简单来说，就是AI开始参与研发下一代AI，而能力更强的下一代AI又能进一步提高研发效率，从而形成"模型越强—研发越快—下一代模型更强"的自我强化循环。

机器智能研究所（MIRI）主席内特·苏雷斯长期研究AI对齐和超级智能风险，2014年他在论文中首次提出"AI对齐"概念，旨在确保AI系统行为与人类价值观和伦理标准保持一致。

内特·苏雷斯 图片来源：机器智能研究所

他向徽声在线记者表示，"我们已经不能排除超级智能在明年出现的可能性。"

在他看来，如果数以万计的AI智能体已经能够协作解决极其复杂的数学问题，那么让AI寻找更有效的训练方法也并非遥不可及。AI公司本身就在追求创造能够自我改进的AI，"一旦成功，超级智能可能就不远了"。

他用核反应作比喻：如果100个中子只能产生99个新中子，反应最终会停止；但如果100个中子能够产生101个，链式反应就会持续放大。

AI研发也可能存在类似的临界点。

当前的AI可以协助研究人员编写代码、分析实验数据、寻找算法，但研发过程中仍有人类参与。"一旦AI能够在没有人类介入的情况下自我改进，反馈循环就开始了，"内特·苏雷斯说，"到那时可能已经太晚了，我们必须在此之前采取行动"。

更棘手的问题是：人类是否还能理解和管理AI？

内特·苏雷斯认为，现在的AI大模型不是工程师逐条编写的软件，而是通过训练"生长"出来的复杂系统。研究人员无法完全解释其内部机制，也没有经过验证的超级智能对齐方案。

因此，他认为现在可能是一个短暂的"黄金窗口期"，因为现在的AI尚未聪明到能够完全隐藏自身行为痕迹。

如果未来AI具备更强的规划、推理和资源获取能力，风险可能不会表现为科幻电影中的"AI突然产生恶意"，而是一个系统为了实现既定目标，逐渐学会获取更多资源、规避限制、隐藏行为甚至抵抗干预。

Anthropic今年8月公布的一项研究模拟了类似风险：当模型在强化学习过程中频繁利用奖励机制漏洞后，可能进一步出现更广泛的错误行为，包括为了完成任务而执行一系列有害的现实行动。

内特·苏雷斯认为，今年发生的AI系统突破隔离环境事件已经是"第一轮预警"。真正值得警惕的不是AI成功进入某些系统，而是部分AI智能体已经表现出对自身行为偏离原任务范围的认知，却仍然继续执行。

"我们很幸运，这些智能体当时关注的是破坏自动评分系统，而不是人类；它们关注的是侵入其他公司的系统，而不是逃出去在暗网上建立自己的存在，"他说。

"监管AI比监管核武器更容易"，但万亿资本捆绑使AI难以停下

如果监管窗口正在缩短，人类应该如何刹车？

内特·苏雷斯给出了激进的建议：政府应禁止训练能力超过一定门槛的AI系统。

他还提出了具体的监管方法：训练最先进的AI需要数十万枚高端芯片集中在大型数据中心，并消耗巨量电力。因此，可以对最先进AI芯片及其大规模聚集进行监控，并要求相关数据中心接受国际监督，以确认这些算力没有被用于秘密训练突破安全红线的超级智能。

在他看来，这甚至可能比监管核武器更容易。"铀可以从地下开采，而最先进的AI芯片只能由全球极少数高度复杂的工厂制造，每一枚芯片的生产来源都相对容易追踪。"

但监管的技术可行性与行业是否愿意停下是两个不同的问题。

OpenAI和Anthropic面临着典型的"囚徒困境"：任何一家主动放慢模型训练、算力采购和产品迭代速度，都可能给竞争对手留下追赶的机会。

Anthropic成立之初就存在这一矛盾。Dario Amodei等人创办公司的初衷就是让AI安全研究跟上前沿模型发展。Anthropic在《Claude宪法》中提出，如果强大的AI不可避免，那么让更重视安全的团队留在技术前沿比主动退出更有利。

OpenAI也持类似观点。9月9日，OpenAI在最新政策文件中表示，希望利用每一代AI帮助下一代AI变得更安全、更符合人类意图、更容易控制。

此外，整个产业链也不允许它们停下。

Anthropic最新估值已升至9650亿美元，且IPO在即。截至7月底，其年化收入运行率超过650亿美元，预计2028年收入将达到1900亿至2000亿美元。据媒体报道，英伟达拟斥资100亿美元参投Anthropic IPO。

OpenAI同样处于高增长和高投入阶段。有报道称，其截至2025年底的算力支出承诺达到6650亿美元，期限延伸至2030年。

整个行业的投入规模更为庞大。微软、Alphabet、亚马逊、Meta和甲骨文五家科技公司的2026年资本开支预期已升至约7300亿美元。英伟达7月披露的监管文件显示，公司供应和产能承诺已达到2790亿美元，覆盖未来AI基础设施所需的芯片、内存和制造能力。

主要AI超大规模云厂商资本开支的快速增长。图片来源：摩根大通

9月10日，媒体援引国际清算银行（BIS）负责人称，全球五家最大科技公司在2025年至2026年的AI基础设施投资已超过1万亿美元；BIS预计，更广泛的AI投资到2030年可能达到4万亿美元，且越来越多地依赖债务和私人信贷融资。

设备已经订购，数据中心开始建设，电力和云服务合同陆续锁定，资本市场也已按照未来数年的增长预期投入资金。AI进入了一个需要持续扩大收入和算力利用率来消化既有投资的周期。

对美国经济和金融市场而言，AI已成为重要增长引擎。7月16日，美联储理事菲利普·杰斐逊在演讲中援引美国经济分析局数据称，2026年第一季度，与AI相关的资本支出对美国GDP增长贡献了1.36个百分点。

摩根大通的展望显示，自ChatGPT于2022年11月推出以来，42家AI相关公司已经贡献标普500指数约65%至75%的盈利、利润和资本开支增长。

9月8日，野村的研究报告称，AI大规模发展已成为美国经济增长的重要引擎，但如果AI发展受挫，在美国股市估值偏高、经济基本面走弱的情况下，可能引发美国资本市场大幅调整；鉴于外国投资者对美股的敞口较大，以及AI生态中的杠杆和循环融资，调整可能演变为'全球避险事件'。

因此，真正让双方难以停下的，不只是某一家公司的单独意愿，而是技术竞争、资本投入和宏观经济已经形成了相互强化的利益链条。

免责声明：本文内容与数据仅供参考，不构成投资建议，使用前请核实。据此操作，风险自担。