Zyphra、1000万トークン文脈で最大35倍高速な疎注意機構を発表
ZyphraがarXivで階層型注意機構ZHAを公開。既存モデルに適用でき、長文脈検索ベンチマークで標準注意を上回ったと報告した。
米国のAIスタートアップZyphraは、長大な文脈を処理するための疎注意手法「Zyphra Hierarchical Attention（ZHA）」を発表する論文をarXivで公開した。論文は先月30日に初回投稿され、2日に改訂版が公開された。aitimes.comが報じた。
ZHAは既存の文脈を小さな要約単位にまとめ、その要約をさらに上位の要約へと積み上げて木構造の検索体系を作る。新しいクエリが来ると、まず最上位層から関連領域を探し、必要な部分だけに絞り込む仕組みだ。
ZyphraがNVIDIA H100 GPUの演算性能とメモリ帯域を前提に構築した性能予測モデルでは、1000万トークンの文脈においてZHAの注意処理速度は標準注意の約32〜35倍と算出された。MiniMaxの疎注意（MSA）と比べても約4.7〜5.1倍速いと見積もられている。文脈長が伸びるほど、既存手法に対する速度優位は拡大するとしている。
ZHAは学習済みモデルの重みを保ったまま適用でき、約40億トークンによる蒸留学習と81,920個の学習可能パラメータの追加で済む。Qwen3.6-35B-A3Bを用いた実験では、長文脈検索、推論、エージェント型コーディングを含むベンチマークで標準注意と同等の成績だった。LongBench v2では全体のKVキャッシュの約1.1%だけを参照して63.4%を記録し、標準注意の58%を上回った。SWE-bench Verifiedは67.4%で標準注意と同値だった。
一方、NVIDIA Nemotron 3.5 LightningではRULERの精度が標準注意を下回り、深い木構造では最大25.3ポイント低下した。最大35倍という高速化は実測されておらず、Zyphraは最適化済みの実行カーネルを公開していない。
よくある質問
ZHAとは何ですか？
Zyphraが開発した疎注意手法で、既存の文脈を要約の階層にまとめて木構造で検索する仕組みです。学習済みモデルに重みを変えずに適用できます。
ZHAはどのモデルで試されましたか？
Qwen3.6-35B-A3Bでの実験が行われ、LongBench v2で63.4%、SWE-bench Verifiedで67.4%を記録しました。
35倍の高速化は実測されましたか？
いいえ。H100を前提とした性能予測モデルによる推定値で、Zyphraは最適化済みの実行カーネルを公開していません。