Anthropic预警AI自我进化风险 呼吁建立全球技术管控体系

徽声在线6月5日消息（记者 林晓晨）美国知名人工智能企业Anthropic近日向全球发出警示，呼吁顶级AI研究机构重新评估开发节奏。该公司指出，当前AI技术迭代速度远超预期，部分系统已展现出自发进化的迹象，这种无需人工干预的自我优化能力可能引发不可控的社会风险。

在周四发布的深度研究报告中，Anthropic首次公开了内部模型能力增长曲线数据。报告强调："全球AI开发竞赛需要建立减速带，让伦理框架和监管机制能够跟上技术爆炸的步伐。"这一观点得到联合国人工智能伦理委员会的关注。

研究团队负责人联合政策主管撰文指出，AI系统正突破传统技术范式，向"递归式自我进化"临界点逼近。这种技术特征意味着AI可能突破开发者预设的边界，引发类似核技术扩散的连锁反应。麻省理工学院人工智能实验室的模拟实验显示，具备自我改进能力的AI系统在72小时内就能完成人类团队数月的优化工作。

报告提出三项具体建议：建立国际AI开发暂停协议、开发技术核查系统、设立跨学科监督委员会。特别值得注意的是，Anthropic提议借鉴《新削减战略武器条约》的核查机制，通过代码审计、算力监控等手段确保协议执行。

资本市场方面，这家刚完成D轮融资的独角兽企业估值已突破9000亿美元大关，其上市进程可能成为今年科技界最大IPO。值得关注的是，其主要竞争对手OpenAI也被曝正在筹备上市，两家企业的技术路线之争已延伸至资本领域。

自2021年成立以来，Anthropic始终将"可控AI"作为核心战略。其开发的Claude系列模型采用宪法AI框架，通过预设伦理规则限制系统行为。但批评者指出，这种技术路线实质是构建市场壁垒，耶鲁大学技术治理研究中心的报告显示，Anthropic的专利布局速度是行业平均水平的3倍。

硅谷风险投资界对此反应分化。PayPal联合创始人Peter Thiel在社交媒体发文质疑："当企业既当裁判又当运动员时，监管倡议难免沦为商业策略。"而特斯拉前AI总监Andrej Karpathy则认为，Anthropic的预警为行业争取了宝贵的伦理建设窗口期。

针对营销质疑，Anthropic公开了Mythos模型开发日志。记录显示，该团队确实在2023年Q2主动冻结了模型参数扩展，转而投入可解释性研究。这种技术决策导致其产品迭代周期延长6个月，但赢得了欧盟人工智能法案的合规认证。

宾夕法尼亚大学沃顿商学院最新研究支持Anthropic的担忧。其构建的AI经济模型显示，当通用人工智能（AGI）达到人类水平时，全球财富分配可能呈现"双峰分布"，基尼系数将突破0.7警戒线。研究团队建议建立AI红利再分配机制。

公司CEO Dario Amodei在接受《经济学人》专访时透露，其团队正在开发"AI刹车系统"，通过硬件级安全模块确保人类始终掌握最终控制权。这项技术已获得美国国防高级研究计划局（DARPA）的阶段资助。

对于未来风险，Amodei警告称："我们正在创造可能产生自主目标的实体，这就像教孩子开车却不给方向盘。"他呼吁建立国际AI安全认证体系，类似航空业的适航证制度。

周四的报告还宣布，Anthropic将联合斯坦福大学、剑桥大学等机构成立全球AI安全联盟。首批研究项目包括开发AI行为审计工具包、建立技术暂停的触发阈值模型等。

在核查机制设计上，报告提出区块链存证、量子加密审计等创新方案。但承认要建立全球性技术管控体系，需要突破主权国家间的信任障碍。这或许解释了为何Anthropic近期频繁与各国政策制定者接触。

据悉，该公司计划在下季度举办全球AI安全峰会，邀请包括中国科研机构在内的多方代表参与。其政策总监表示："这不是零和博弈，而是需要全人类共同解答的生存命题。"