グーグル・ディープマインド、AIエージェント評価ベンチマーク「MKA」を公開
グーグル・ディープマインドがアーティフィシャル・アナリシスと共同で、10分野83職種・200タスクを対象とするMKAベンチマークを公開した。
グーグル・ディープマインドは2026年11月14日、AIエージェントの能力を評価する新たなベンチマーク「Multimodal Knowledge Agent(MKA)」を公開した。AI分析企業アーティフィシャル・アナリシスと共同で開発したもので、台湾メディアのITHomeが報じた。
MKAは、ビジネスや建設、エンジニアリング、金融、医療、科学など10分野にわたる83職種を対象に、計200のタスクで構成される。各タスクは熟練した専門職が実際に3〜8時間かけて行う業務を再現したものだ。
採点はタスクごとに約70項目の詳細な基準に照らして行われ、事実の正確性に75%、視覚的な完成度に25%の重みを置く。すべてのモデルには同一のツールと作業環境が与えられ、最大250回の試行が認められた。専門家による評価とAIによる評価の一致率は96%だった。
上位2モデルの性能とコスト
難度の高いタスク項目における加重達成率では、AnthropicのClaude フェイブル 5.2が57%で1位、グーグルのGemini 4 Carbonが54%で2位となった。
一方、1タスクあたりの平均コストはClaude フェイブル 5.2が31.97ドル、Gemini 4 Carbonが6.29ドルで、後者は前者の約5分の1だった。タスク完了に必要な平均アクション数はモデル間で30〜130回と幅があった。
よくある質問
MKAベンチマークとは何ですか?
グーグル・ディープマインドがアーティフィシャル・アナリシスと共同で開発したAIエージェント向けベンチマークで、10分野83職種にわたる200タスクで構成されています。
MKAで1位になったモデルは?
AnthropicのClaude フェイブル 5.2が難タスク項目で加重達成率57%を記録し1位、グーグルのGemini 4 Carbonが54%で2位でした。
タスクあたりのコストはどのくらいですか?
Claude フェイブル 5.2が平均31.97ドル、Gemini 4 Carbonが平均6.29ドルでした。