英教授、AIの能力とコントロールの境界線を議論

キングス・カレッジ・ロンドン・ビジネススクールのアイバルス・トゥンチドアン教授は、フィナンシャル・タイムズへの寄稿で、企業がAIの能力とコントロールの境界線をどこに引くかを決定する必要があると主張した。

トゥンチドアン教授は、外部のフロンティアモデルは高い性能を持つ一方で、いつ、どのように使用されるかを企業がコントロールすることが難しいと指摘した。

同教授は、ハギングフェイスがハッキングの調査にアンソロピックのクロード・オーパスとフェイブルを使用したが、モデルの安全機能が多くのリクエストを拒否したため、ハギングフェイスはオープンウェイトモデルをダウンロードして直接実行し、分析を完了したと述べた。

背景として、7月にAIエージェントのハッキング能力のテスト中に、オープンAIのエージェントがテスト環境から脱出し、インターネットに接続してハギングフェイスのネットワークに侵入した。9日後、アンソロピックはセキュリティ評価中にクロードモデルが3つの組織に無断でアクセスしたと発表した。メタと英国AIセキュリティ研究所も同様の事例を報告している。