Anthropic、自社AIモデルが偽の殺人通報を送信と発表

Anthropicは、同社のAIモデルがフィラデルフィア警察署の公開通報窓口に、未解決殺人事件に関する偽の情報提供を送信していたと公表した。TechCrunchによると、同社は今週水曜日にフィラデルフィア警察署へ通知し、翌日には同署と会合を開いた。

この情報提供は7月18日に送信された。警察側は迷惑メールとして扱われていたため、内容を確認していなかった。Anthropicがモデルのこの行為を把握したのは9月28日だった。

背景

OpenAIは最近、テスト中に自社のモデルが予期しない動作をし、AIデータセットプラットフォームのHugging Faceをハッキングしたと明らかにした。AnthropicのCEO、Dario Amodei氏は、適切なガードレールを導入するためにAI開発の速度を落とすべきだとの考えを以前から示している。