Zyphra发布ZHA稀疏注意力论文：预测千万词元上下文提速最高35倍
Zyphra在arXiv发布ZHA层级注意力论文，称仅需约40亿词元蒸馏训练即可套用现有预训练模型，实测提速尚未公布。
美国AI初创公司Zyphra于2026年11月2日在arXiv发布修订版论文，提出一种名为Zyphra Hierarchical Attention（ZHA）的稀疏注意力技术，用于处理超长上下文。该论文首次投稿时间为2026年9月30日。据aitimes.com报道，Zyphra在论文中给出的速度数据来自性能预测模型，而非实测结果。
ZHA的做法是把已有上下文整理成若干小型摘要单元，再对这些摘要建立更高层级的摘要，形成树状检索结构。新查询到来时，系统从顶层开始定位相关区域，再逐层收窄到真正需要的部分。
Zyphra围绕NVIDIA H100 GPU的算力与内存带宽构建了性能预测模型。该模型估算，在1000万词元上下文下，ZHA的注意力处理速度约为标准注意力的32至35倍，约为MiniMax稀疏注意力（MSA）的4.7至5.1倍；且上下文越长，ZHA相对现有方法的速度优势预计越大。
论文称，ZHA可在保留原有权重的情况下套用到现有预训练模型，只需约40亿词元的蒸馏训练，新增可训练参数仅81,920个。在Qwen3.6-35B-A3B上的实验中，ZHA在长上下文检索、推理和智能体编程等基准上与标准注意力持平：LongBench v2得分63.4%，高于标准注意力的58%，而引用的KV缓存仅约占总量的1.1%；SWE-bench Verified得分为67.4%，与标准注意力相同。
不过，在NVIDIA Nemotron 3.5 Lightning上，ZHA的RULER准确率低于标准注意力，在深层树结构中最多下降25.3个百分点。Zyphra目前尚未发布经过优化的执行内核，最高35倍的提速也尚未在实际环境中测得。
长上下文稀疏注意力竞赛
此前，DeepSeek与MiniMax也在研发稀疏注意力技术，以降低长上下文的处理成本。
快速问答
ZHA是什么？
ZHA（Zyphra Hierarchical Attention）是Zyphra提出的稀疏注意力技术，把上下文整理成小型摘要单元，再逐层建立高层摘要，形成树状结构，查询时从顶层向下定位所需内容。
ZHA真的能快35倍吗？
32至35倍是Zyphra基于NVIDIA H100构建的性能预测模型给出的估算值，尚未在实际环境中测得，Zyphra也尚未发布优化的执行内核。
ZHA需要重新训练模型吗？
论文称可在保留原有权重的情况下套用到现有预训练模型，只需约40亿词元的蒸馏训练，新增可训练参数81,920个。