研究：分块压缩致DeepSeek检索精度随位置波动逾40个百分点
字节跳动与普林斯顿、斯坦福、伯克利研究人员发布论文，发现分块KV缓存压缩使DeepSeek模型检索精度随信息位置变化，最大差距达40.2个百分点。
据aitimes.com报道，来自字节跳动、普林斯顿大学、斯坦福大学和加州大学伯克利分校的研究人员在在线论文库发布了一篇题为《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》的论文，指出DeepSeek所采用的分块KV缓存压缩会导致信息检索精度随位置出现波动，研究人员将这一现象称为“相位敏感性”。
研究团队在DeepSeek-V4、DeepSeek-V4.1以及他们自行预训练的所有压缩模型中均发现了相同的性能退化现象。在以128,000个token为输入进行测试时，DeepSeek V4系列基础模型的检索准确率因信息位置不同，最大可相差40.2个百分点。其中DeepSeek-V4 Flash基础模型的差距为40.2个百分点，DeepSeek-V4 Pro基础模型为34.8个百分点。
经过额外训练后，差距有所收窄：DeepSeek-V4 Flash降至19.1个百分点，DeepSeek-V4 Pro降至14.8个百分点，DeepSeek-V4.1 Flash降至6.1个百分点。而采用标准全注意力机制的对比模型则未出现同类的周期性性能波动。
研究人员表示，高平均准确率可能与特定位置上的失败同时存在，因此评估模型性能时应在压缩块内改变信息位置进行测量。他们还指出，这一现象如何影响实际应用中的安全性和可靠性，仍需进一步研究。
快速问答
什么是相位敏感性？
研究人员将分块KV缓存压缩导致检索精度随信息位置出现周期性波动的现象称为相位敏感性，该现象在DeepSeek-V4、DeepSeek-V4.1及团队自训练的压缩模型中均被观察到。
DeepSeek V4系列基础模型的精度最大差距有多大？
在128,000个token输入测试中，检索准确率因信息位置不同最大相差40.2个百分点，其中DeepSeek-V4 Flash为40.2个百分点，DeepSeek-V4 Pro为34.8个百分点；额外训练后分别收窄至19.1、14.8和6.1个百分点。
采用标准全注意力机制的模型表现如何？
对比模型使用标准全注意力机制，未出现同样的周期性性能波动。