GPT-6 Astra、未公開の理論物理50問中49問を正解
TheoPhysEvalベンチマークで、GPT-6 Astraがウェブ検索とコード実行を使い50問中49問を解いた。API費用は総額116.28ドルだった。
ICTSや複数の研究機関の研究者を含む35人のチームが、AIエージェントが理論物理の研究課題をどの程度自律的に解けるかを測るベンチマーク「TheoPhysEval」を公開した。aitimes.comが報じた。このベンチマークでGPT-6 Astraは、未公開の理論物理の問題50問のうち49問を人間のヒントなしで解いた。ウェブ検索とコード実行が認められた条件での結果だ。
GPT-6 AstraのAPI費用は総額116.28ドルで、1問あたり平均約2.33ドルだった。ほかのモデルではOpus 5.5が50問中46問、Gemini 3.8 Flashが34問、DeepSeek-V4.1 Flashが27問、GLM-5.3が21問を解いた。
インターネット接続を遮断した条件では、GPT-6 AstraとOpus 5.5がいずれも46問を解いた。GPT-6 Astraが解けなかったのは、与えられた曲線を生成する微分方程式を求める問題1問で、他のモデルもすべて失敗した。
採点の過程では、GPT-6 Astraの当初は誤りと判定された解答が、専門家が自身の参照解にあった微妙な誤りを再確認して修正した結果、正しいと判明した。これにより最終的な正答率は98%になった。
共著者のSubhraj Raju氏は14日、自身のブログで評価の始まりを説明し、結果を見て何日も眠れなかったと述べた。約6か月前、Raju氏が未公開の問題をAIに与えたところ、最初は誤答したものの、数回のヒントの後に解けたことが評価の出発点だった。
よくある質問
TheoPhysEvalとは何ですか？
AIエージェントが理論物理の研究課題を、ウェブ検索やコード実行のツールを使ってどの程度自律的に解けるかを測るベンチマークです。
GPT-6 Astraは50問中何問を解きましたか？
ウェブ検索とコード実行が認められた条件で49問を解きました。API費用は総額116.28ドルでした。