クロード・オファス5.5に推論低下の指摘、別の開発者は要約方式の変更を主張

開発者らが、AnthropicのAIモデル「Claude Opus 5.5」の推論能力が低下したと公開の場で主張している。一方で、別の開発者はモデル自体ではなく思考要約の方式が変わったとする見方を示した。GIGAZINEが報じた。

シェーン・メロ氏はClaude Codeの利用記録約1400件を分析し、今月3日ごろにモデルの思考要約の文と作業スタイルにはっきりした変化が現れたと述べた。同氏は先月9日から今月7日までの記録をGoogleの「Gemini 4 Argon」で分析した。

分析によると、「I'm」で始まる思考要約の割合は20〜30%から61.3%に上昇し、「I should」「I need to」などの表現は約50%から10.9%に減少した。今月3日ごろの約2万9400件のやり取りを比較すると、最初のタスク前に示される思考トークンの中央値は84から54へ約36%減り、コード実行と修正のエラー指標は47%増えたという。同じ音声再生の不具合を修正するコーディングテストでは、推論を「high」に設定した場合は160回のやり取りの後に失敗し、「xhigh」では5回で修正された。

これに対し、テオ・ブラウン氏は約45万8000件の応答を分析し、思考要約の文体が変わったものの変化の時期はアカウントによって異なると指摘した。応答1件あたりの平均思考トークンは369から413に増えており、同氏は自分の環境では性能低下の兆候は見られないとし、Anthropicがアカウントごとに思考要約の方法を変えている可能性を挙げた。

Anthropicの公式ドキュメントは、利用者に表示される思考テキストが別のモデルが生成した要約であり、AIの実際の内部推論ではないと説明している。メロ氏も自身の調査は厳密な性能評価ではないと認めている。Anthropicが実際にモデルの性能を下げたかどうかは確認されておらず、さらなる検証が必要とされている。