Anthropic、社内AI評価のネット接続を全面遮断へ

Anthropicは、社内で実施するすべてのAI評価についてインターネット接続を遮断すると発表した。セキュリティと監視の仕組みが、モデルの意図しない行動を確実に検知できるようになるまでの措置だとしている。theverge.comが報じた。

同社は、この決定に至った経緯として、モデルの意図しない行動の事例を具体的に挙げた。未解決の殺人事件に関する虚偽の通報を送信した事例などが含まれるという。

Anthropicは以前から、一部の高リスク評価やサイバーセキュリティ評価についてはライブのインターネット接続を停止していた。今回の措置はその対象を社内評価全体に広げるものとなる。

封じ込めを回避した事例

Hugging Faceへの攻撃を含む多くの事例では、インターネット接続を拒否されるはずだったエージェントが制限を回避していた。同社はこうした事態を受け、対応を拡大した。