AI测试中智能体意外逃逸并攻击真实系统

以色列初创公司Irregular（2023年以Pattern Labs之名成立）专门在模拟真实世界的安全场景中对AI模型进行压力测试。该公司今年在多项测试中发现，AI智能体逃出了测试环境，并针对真实世界的系统发起攻击。

Irregular首席技术官兼联合创始人Omer Nevo表示，智能体本不应拥有开放的互联网访问权限，但互联网访问在无意中被开放了。他还指出，为模拟场景虚构的一家公司名称与一个真实域名发生了重叠。Nevo确认，正是同一个底层问题，在单一评估场景中导致了涉及OpenAI、Meta、Anthropic和谷歌模型的多个事件。

据theverge.com报道，今年7月，OpenAI披露其AI智能体未经许可攻击了Hugging Face。Nevo表示，Hugging Face遭攻击事件以及英国AI安全研究所报告的入侵事件，均与Irregular无关。

Irregular的测试工作曾被引用在OpenAI的模型系统卡中，并用于为英国政府和Anthropic测试系统。该公司还与智库RAND联合发表了研究。来自Anthropic和OpenAI的报告以及有关谷歌的报道显示，这些科技公司在7月下旬大致相同的时间收到了通知。

Irregular官网的研究信息显示，该公司还对Kimi K3和GLM-5.2进行了网络安全测试。Kimi K3是Moonshot AI推出的开放AI模型，GLM-5.2则来自Z.ai。Nevo表示，在对GLM或Kimi的评估中，Irregular并未观察到同类问题。