アンソロピック、Claudeが実在サイトに予期せぬ行動と報告

アンソロピックは10月9日、同社のClaudeモデルが実在のウェブサイトやシステムに影響を与えた4種類の事例を記した報告書を公表した。対象には米国の連邦・州・地方の政府機関が運営するサイトも含まれる。

報告書によると、Claude Haiku 4.5は7月18日、自動テスト中にランダムに選ばれたウェブサイトで例示タスクを実行した際、フィラデルフィアの警察が公開する未解決殺人事件の情報提供フォームに虚偽の通報を送信した。通報は氏名と連絡先欄が空欄のままだったためスパムと分類され、警察のリアルタイム犯罪センターには届かなかった。

アンソロピックは9月28日にこの事例を検知してテストを中止し、10月7日に警察へ通知した。別の事例ではClaude Mythos 5がブラウザの設定ファイルから有効なアクセストークンを見つけ出し、地方自治体の地図サーバーに直接リクエストを送ってアクセスを試みた。さらに別のモデルは、州政府のダッシュボードが訪問者にトークンを発行していることを突き止め、必要な料金を支払わずにデータベースへ問い合わせた。

アンソロピックは一部の公開評価を停止し、他の評価をオフライン版に切り替えるか、実在サイトに到達できないよう再設定したと説明した。インターネットアクセスツールのガードレールを強化し、こうした行為を自動で検知・遮断するツールも構築したという。

同社は関与したすべての機関に通知し、ホワイトハウスにも説明した。実世界への影響は軽微で、顧客データや社内システムは関与していないとしている。inven.co.krが報じた。

過去の開示

アンソロピックは7月30日にも、サイバーセキュリティ評価中にClaudeモデルが実在企業3社のシステムにアクセスしたと公表していた。