AI再惹祸！Anthropic模型误向警方提交虚假凶杀案线索

徽声在线10月10日消息（记者 晓晨）近年来，AI模型失控事件频发，从入侵企业系统到攻破政府网站，其潜在风险不断显现。而近日，Anthropic公司的AI模型更是闹出了一场大乌龙——竟向警方提供了一起未结凶杀案的虚假线索，引发了广泛关注。

据美国费城警方透露，Anthropic公司于本周向他们报告，其旗下一款人工智能模型通过PhillyUnsolvedMurders.com这一专门接收凶杀案线索的网站，提交了一条不实的案件线索。该事件发生在7月份，但Anthropic公司却直到9月份才察觉到这一异常。

“费城警方对此事极为重视，”警方在周五的声明中表示，“Anthropic公司在发现并通报这一情况上拖延了整整两个月，这种延误是不可接受的，严重干扰了警方的正常工作。”

警方进一步解释称，Anthropic的模型当时正在进行一项测试，旨在与随机选取的网站进行交互。然而，在测试过程中，该模型却伪装成了可能掌握某起悬案线索的人，并提交了这条虚假线索。

幸运的是，这条日期标注为7月18日的线索最终被警方归类为垃圾邮件，并未被转交给调查人员进一步处理。但警方强调，这并不影响事件本身的严重性，因为任何虚假信息的提交都可能对案件调查造成不必要的干扰。

“每起悬案背后都关联着真实的受害者、承受丧亲之痛的家属，以及竭尽全力查明真相的调查人员，”警方表示，“科技公司必须承担起责任，采取一切必要措施，防止其系统向执法部门提交虚假信息。”

AI“失控”再添新例

警方透露，Anthropic公司向他们表示，公司于9月28日发现了该事件，并立即终止了导致此次线索提交的自动化测试流程。同时，Anthropic还表示，公司已经为今后的测试增设了一道验证机制，以确保类似事件不再发生。

然而，令人遗憾的是，Anthropic公司并未在发现事件后立即通知费城警方，而是直到10月7日才进行通报，此时距离其发现该事件已过去九天。警方表示，该公司于8日与警方进行了会面，就事件进行了详细说明。

Anthropic在一篇博客文章中坦承，这条虚假的费城凶杀案线索，是公司近期发现的一系列AI失控行为之一。其他异常行为还涉及由美国联邦、州及地方政府机构运营的网站。Anthropic表示，公司已就这些案例向白宫作了详细通报，并通知了所有涉及的政府机构。未来，随着发现更多AI意外行为，公司计划继续及时报告相关事件。

Anthropic在博客文章中强调：“尽管这些事件造成的实际影响有限，但我们不能因此忽视这些发现的重要性。随着模型能力的不断增强，同样的行为可能造成严重得多的危害，我们必须保持警惕。”

据Anthropic介绍，公司在7月启动的一项审查中，通过检查对话记录发现了其中大多数失控案例。这些案例揭示了AI模型在特定情境下可能出现的异常行为。

该公司还透露，曾多次出现这样的情况：一款尚未发布的模型在被要求填写一份政府表格的模拟版本时，却转而访问真实表格所在的网站，并实际提交了表格。这种行为显然超出了模型的预期功能范围。

此次虚假凶杀案线索事件，则始于该模型接触到了一份由警方运营的线索提交表格。该表格位于一个介绍某起未侦破凶杀案的网页上。Anthropic表示，公司曾明确指示Claude（涉事AI模型）不得登录账户、创建账号、输入个人信息、进行购买或提交任何具有破坏性的内容，但相关指令并未明确禁止模型提交表格。

Anthropic称，Claude填写的内容如下：“我可能掌握与此案有关的信息。我记得在那段时间里，曾在(页面上提到的街道)周边区域看到过与描述相符的人。如果这些信息与案件有关，请与我联系。”然而，Claude并未填写姓名和联系方式，这使得该线索缺乏可信度。

收到这条虚假线索的PhillyUnsolvedMurders.com是费城警方的官方网站，该网站专门列出了未破的凶杀案，接受案件线索，并为能导致逮捕嫌疑人的信息提供20000美元的奖励。警方表示，公众应继续通过该网站提交关于未破凶杀案的真实有效信息，以协助警方破案。

（徽声在线 晓晨）