DeepSeekのKVキャッシュ圧縮、情報位置で精度最大40.2ポイント差 論文公開
ByteDanceと米3大学の研究者が、KVキャッシュのチャンク圧縮による「Periodic Weak Spots」現象を報告。128,000トークン入力でDeepSeek-V4系の検索精度が情報位置により最大40.2ポイント変動した。
ByteDance、Princeton University、Stanford University、UC Berkeleyの研究者らが、オンラインアーカイブに「Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression」と題した論文を公開した。チャンク単位のKV-Cache圧縮が、情報の位置に依存した検索精度の変動を引き起こすことを報告している。aitimes.comが伝えた。
128,000トークンの入力を用いたテストでは、DeepSeek V4シリーズのベースモデルの検索精度が、情報の位置によって最大40.2ポイント変動した。内訳はDeepSeek-V4 Flashのベースモデルが40.2ポイント、V4 Proのベースモデルが34.8ポイントだった。
追加学習後は、変動幅はV4 Flashで19.1ポイント、V4 Proで14.8ポイント、V4.1 Flashで6.1ポイントに縮小した。一方、標準的なフルアテンションを用いた比較モデルでは、同じ周期的な性能変動は確認されなかった。
研究者らは、平均精度が高くても位置に固有の失敗が併存し得ると指摘し、圧縮チャンク内で情報位置を変えながら性能を測定すべきだと述べている。また、この現象が実アプリケーションにおける安全性や信頼性にどう影響するかは、さらなる研究が必要だとしている。
よくある質問
何の論文ですか？
ByteDance、Princeton University、Stanford University、UC Berkeleyの研究者らによる「Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression」という論文で、チャンク単位のKV-Cache圧縮による情報位置依存の精度変動を報告しています。
どのモデルで確認されましたか？
DeepSeek-V4、DeepSeek-V4.1、および研究者らが事前学習したすべての圧縮モデルで同じ性能劣化が確認されました。
精度の変動はどの程度ですか？
128,000トークン入力のテストで、DeepSeek-V4 Flashのベースモデルは40.2ポイント、V4 Proのベースモデルは34.8ポイントの差がありました。追加学習後はそれぞれ19.1ポイント、14.8ポイントに縮小し、V4.1 Flashは6.1ポイントでした。