スタンフォード大など、潜在空間で推論する新手法を発表

スタンフォード大学、Meta、Together AI、イリノイ大学アーバナ・シャンペーン校による共同研究チームが、新たなAI推論手法「Hybrid Reasoning Agents」を発表した。中間推論をすべてテキストのトークンとして生成するのではなく、数値ベクトルの潜在空間で処理する手法だ。デジタルトゥデイ（digitaltoday.co.kr）が伝えた。

この手法は、内部的な問題解決を担う潜在モードと、ツール呼び出しや最終回答を担うテキストモードを組み合わせ、両者を「HybridLink」と呼ぶ技術でつなぐ。適用には、教師ありファインチューニングの「HybridSFT」と強化学習の「HybridRL」を事前学習済みモデルに追加する必要がある。

チームはQwen3をベースにした4B、8B、14Bのパラメーターモデルを、数学・科学・検索を対象とする11のベンチマークで評価した。既存手法と比べて生成トークンは35.5〜54.7%減少し、推論のスピードは1.8〜2.6倍になった。問題解決の性能は平均10.4%向上し、4Bモデルの推定計算コストは従来手法の約27%まで下がった。

コードと学習データはGitHubとHugging Faceで公開されている。成果をまとめた論文はまだ査読を受けていない。