複雑なコーディング用ハーネス、精度は軽量版と大差なし 山東大などが比較研究

中国の山東大学とUCバークレーの研究者が、AnthropicのClaude Code、オープンソースのOpenCode、最小構成のmini-SWE-agentという3種類のコーディングエージェント用ハーネスを比較した研究をオンラインアーカイブに公開した。aitimes.comが報じた。SWE-bench Verifiedのオフラインタスク492件を評価し、うち45件の難問と残り447件に分けて分析している。

検証にはオープンウェイトのQwen3.6-35B-A3BとQwen3.8-27B、API経由のDeepSeek-V4-Flash、GLM-5.3-Flash、HY4-Preview、そして参照用にClaude Code上で動かしたClaude Opus 5が使われた。機能の多いハーネスが軽量なものより一貫して高いスコアを出すことはなく、難問ではハーネスの変更時と同一ハーネスの再実行時の両方で、約13%の結果が成功と失敗の間で入れ替わった。

コストと出力上限に差

同じモデル・同じタスクでも、ハーネスによってタスクあたりのコストは最大3倍変動し、その差は最初のAPI呼び出しから生じていた。DeepSeekの公式コマンドラインハーネスは成功率では他のハーネスの範囲内に収まったが、比較対象の中でタスクあたりのコストが最も高かった。DeepSeekモデルでは、呼び出し回数が増えるためmini-SWE-agentのほうが他のハーネスより高コストになり、コスト効率がモデルとワークフローの組み合わせに依存することが示された。

OpenCodeは大規模タスクで他環境より最大9ポイント低いスコアとなり、その差の約半分はパッチを書く前に32,000トークンの出力上限に達したことが原因だった。Claude Codeには、モデルに出力の継続を自動で促す回復機能があった。システムプロンプトとツール定義に固定で使うコンテキストは、Claude Codeが10,000トークン超だったのに対し、mini-SWE-agentは約800トークンだった。

研究者らは、十分なタスク数での反復テストと、複雑なハーネスを既定で採用するのではなくシステムプロンプトやツール定義を簡素化することを勧めている。