広告掲載
AI

グーグル・ディープマインド、AIエージェント評価ベンチマーク「MKA」を公開

グーグル・ディープマインドがアーティフィシャル・アナリシスと共同で、10分野83職種・200タスクを対象とするMKAベンチマークを公開した。

グーグル・ディープマインドは2026年11月14日、AIエージェントの能力を評価する新たなベンチマーク「Multimodal Knowledge Agent(MKA)」を公開した。AI分析企業アーティフィシャル・アナリシスと共同で開発したもので、台湾メディアのITHomeが報じた。

MKAは、ビジネスや建設、エンジニアリング、金融、医療、科学など10分野にわたる83職種を対象に、計200のタスクで構成される。各タスクは熟練した専門職が実際に3〜8時間かけて行う業務を再現したものだ。

採点はタスクごとに約70項目の詳細な基準に照らして行われ、事実の正確性に75%、視覚的な完成度に25%の重みを置く。すべてのモデルには同一のツールと作業環境が与えられ、最大250回の試行が認められた。専門家による評価とAIによる評価の一致率は96%だった。

上位2モデルの性能とコスト

難度の高いタスク項目における加重達成率では、AnthropicのClaude フェイブル 5.2が57%で1位、グーグルのGemini 4 Carbonが54%で2位となった。

一方、1タスクあたりの平均コストはClaude フェイブル 5.2が31.97ドル、Gemini 4 Carbonが6.29ドルで、後者は前者の約5分の1だった。タスク完了に必要な平均アクション数はモデル間で30〜130回と幅があった。

よくある質問

MKAベンチマークとは何ですか?

グーグル・ディープマインドがアーティフィシャル・アナリシスと共同で開発したAIエージェント向けベンチマークで、10分野83職種にわたる200タスクで構成されています。

MKAで1位になったモデルは?

AnthropicのClaude フェイブル 5.2が難タスク項目で加重達成率57%を記録し1位、グーグルのGemini 4 Carbonが54%で2位でした。

タスクあたりのコストはどのくらいですか?

Claude フェイブル 5.2が平均31.97ドル、Gemini 4 Carbonが平均6.29ドルでした。

出典