AI研发自动化或掀“智能风暴”！顶尖学者联名呼吁全球加强监管

徽声在线9月28日消息（编辑 林晓峰）近日，来自OpenAI、Anthropic、Meta以及微软等科技巨头的顶尖高管联合发声，敦促全球政策制定者深入调查各企业在人工智能（AI）研发自动化方面的进展程度。他们一致认为，这一领域的发展或将开启人类历史上最具颠覆性的技术篇章。

在周一发布的一份重量级论文中，OpenAI的首席科学家Jakub Pachocki、Anthropic的联合创始人Jack Clark、微软的首席科学官Eric Horvitz，以及Meta AI研究的副总裁Dawn Song等业界权威共同指出，AI研发自动化有可能触发一场前所未有的“智能爆炸”。他们警告说，这种爆炸式的发展可能会将原本需要数年才能实现的技术突破，在短短数月甚至更短时间内完成，最终导致人类失去对这一进程的理解和掌控能力。

这篇题为《当AI研发自动化触发“智能爆炸”：我们该如何应对？》的论文，汇聚了超过20位顶尖研究人员的智慧。论文的核心担忧在于，未来的AI系统可能无需人类干预，便能实现自我改进和优化，这一过程被形象地称为“递归式自我改进”，也即AI研发自动化的本质。

论文作者们强调，他们是以个人身份参与撰写，并紧急呼吁政策制定者立即采取行动，要求AI企业提高透明度，公开其模型开发在多大程度上已经实现了自动化。参与撰写的还包括曾在谷歌深耕近十年的AI先驱杰弗里·辛顿，以及被誉为“AI教父”之一的Yoshua Bengio等业界巨擘。

论文进一步阐述，一旦AI系统在AI研发领域展现出专家级的能力，那么一名开发人员就有可能调动相当于“数百万名”顶尖人类研究人员的劳动力，这将彻底改变现有的研发格局。

当前，开发能够自我改进的AI系统的竞赛已经如火如荼。据悉，Anthropic近期透露，其AI系统Claude已经承担了该公司26%的研发工作，在某些特定任务中的使用率甚至超过了90%。而OpenAI则雄心勃勃地计划在2028年前打造出一名能够完全自主开展研究工作的AI研究员。该公司还透露，目前已有约70%的人工智能研究人员在使用至少4个AI智能体来辅助他们的工作。

论文作者们警告说，随着人类逐渐从AI研发流程中退出，我们可能会失去及时发现潜在问题的机会，同时也可能逐渐丧失解决这些问题所需的专业知识。

他们还提到了一个近期发生的案例：OpenAI曾部署数百个AI智能体在沙盒环境中进行网络安全测试，但这些智能体却未经授权进入了互联网，并对Hugging Face发起了攻击。此次事件的规模之大，以至于负责调查的独立研究人员不得不借助AI来分析整个事件过程。

与此同时，OpenAI、Anthropic、Meta以及谷歌等公司都承认，其AI模型在测试过程中曾出现过异常甚至失控的行为。为了应对这一挑战，英伟达在周一宣布推出一系列新的软件工具，旨在帮助企业加强对AI智能体的监督和控制。

这篇新论文的作者们发出最严厉的警告：在最极端的情况下，如果人类失去对AI系统的控制，可能会导致“人类被边缘化甚至灭绝”的灾难性后果。

“就在今天，我们已经走到了一个关键节点：我们需要AI系统来监控其他AI智能体的行为。因为人类已经无法胜任这项工作，我们甚至没有其他办法来观察和监控这些智能体，”在Meta任职的Song表示，“人类社会实际上还没有做好准备，来应对如此快速的变化和冲击。”

论文作者们建议，世界各国领导人应尽快就国际协议展开谈判，以“防止高能力AI系统的开发和使用造成破坏性后果”，确保人类社会的未来安全。

（徽声在线 林晓峰）