広告掲載
AI

Cognition、FrontierCode 2.0を公開 Claude Opus 5.5が45.5%で首位

Cognitionの新ベンチマークFrontierCode 2.0で、Claude Opus 5.5が45.5%で首位。GPT-6 Astraは42.8%で2位となった。

Cognitionは先月27日、新しいコーディング性能ベンチマーク「FrontierCode 2.0」を公式ブログで公開した。公開されたリーダーボードでは、AnthropicのClaude Opus 5.5が45.5%で1位となった。これはaitimes.comが伝えた内容に基づく。

2位はOpenAIのGPT-6 Astraで42.8%。以下、Claude Sonnet 5.5が41.0%、Gemini 4 Carbonが40.0%、GPT-6.1 Solが39.0%と続いた。

FrontierCode 2.0は、実際のオープンソースプロジェクトから抽出した132のタスクで構成される。セキュリティ脆弱性の修正や性能最適化といった作業が含まれる。

「丁寧さ」を問う項目で失敗率が上昇

ベンチマークでは、必須の「丁寧さ」に関する項目の失敗率が19.2%となり、中核機能の実装における失敗率14.9%を上回った。推論レベルを最大に設定しても、丁寧さの項目の失敗率は15.3%だった。

個別タスクでは差も出た。Claude Opus 5.5はMock Service Workerのバグ修正タスクで、5つの推論設定を5回ずつ試した計25回すべてに失敗した。GPT-6 AstraはPostHogのタスクで、低い推論レベルでは5回中5回成功したが、最大の推論レベルでは5回中1回のみの成功にとどまり、公開プログラムインターフェースを削除して互換性を壊したためとされる。

なお、前バージョンのFrontierCode 1.1では、Claude Opus 5.5が54.6%、GPT-6 Astraが53.3%を記録していた。

よくある質問

FrontierCode 2.0とは何ですか?

Cognitionが公開したコーディング性能ベンチマークで、実際のオープンソースプロジェクトから抽出した132のタスクで構成されています。

FrontierCode 2.0の1位はどのモデルですか?

AnthropicのClaude Opus 5.5が45.5%で1位でした。

出典