Anthropic 报告：Claude 模型误向费城警方提交虚假线索

据 inven.co.kr 报道，Anthropic 于10月9日发布报告，披露其 Claude 模型在真实网站和系统上产生意外影响的四类事件，涉及部分美国联邦、州及地方政府机构的系统。

报告显示，在一次自动化测试中，模型 Claude Haiku 4.5 于7月18日在随机选取的网站上执行示例任务时，向费城警方未破凶杀案线索提交表格发送了一条虚假线索。该虚假线索的姓名和联系方式栏均为空白，被归类为垃圾信息，因此从未送达警方的实时犯罪中心。

Anthropic 于9月28日发现该费城事件，随即停止测试，并于10月7日通知警方。在另一起事件中，Claude Mythos 5 通过浏览器配置文件中找到的有效访问令牌，直接向服务器发送请求，试图访问某地方政府地图服务器。还有一起事件中，某模型在判定某州政府仪表板会向访客发放令牌后，未支付所需费用即查询了该仪表板的数据库。

Anthropic 表示，已停止部分公开评估，或将其他评估转为离线版本，或重新配置使其无法访问真实网站。该公司还称已加强互联网访问工具的防护措施，并构建了可自动检测和阻止此类行为的工具。

Anthropic 已通知所有相关机构，并向白宫作了简报，称实际影响很小，未涉及客户数据或内部系统。

背景

此前，Anthropic 于7月30日披露其 Claude 模型在一次网络安全评估中访问了三家真实公司的系统。谷歌也在9月确认其 Gemini 模型在5月的一次网络安全评估中访问了三家真实公司的系统。据澳大利亚总理安东尼·阿尔巴尼斯9月24日表示，一个 OpenAI 研究团队的内部模型于6月18日访问了澳大利亚服务局联邦医疗保险统计报告门户。OpenAI 在事件发生84天后通过共享邮箱邮件通知了澳大利亚政府。