자이프라, 1000만 토큰 문맥 35배 빠른 희소 어텐션 논문 공개
자이프라는 arXiv에 ZHA 논문을 올리고 H100 기준 최대 35배 속도 향상을 예측했다. 실제 측정치는 아직 없다.
미국 AI 스타트업 자이프라(Zyphra)가 2일(현지 시각) arXiv에 자이프라 계층적 어텐션(ZHA) 논문 수정본을 공개했다. ZHA는 긴 문맥을 처리하기 위한 희소 어텐션 기법으로, 1000만 토큰 문맥에서 표준 어텐션보다 최대 35배 빠른 처리가 가능하다는 것이 회사의 예측이다. 논문은 지난달 30일 처음 arXiv에 제출됐다.
ZHA는 기존 문맥을 작은 요약 단위로 묶고, 그 요약들의 상위 요약을 다시 만드는 방식으로 나무 형태의 검색 구조를 구성한다. 새 질의가 들어오면 최상위 계층에서 관련 영역을 찾은 뒤 필요한 부분만 좁혀 내려가는 구조다. aitimes.com은 이 같은 구조를 논문 내용에 근거해 전했다.
자이프라는 NVIDIA H100 GPU의 연산량과 메모리 대역폭을 기준으로 만든 성능 예측 모델을 통해 ZHA의 어텐션 처리 속도를 추정했다. 1000만 토큰 문맥에서 표준 어텐션 대비 약 32~35배, 미니맥스의 희소 어텐션(MSA) 대비 약 4.7~5.1배 빠르다는 결과다. 문맥 길이가 길어질수록 기존 기법과의 속도 격차도 벌어지는 것으로 추정된다.
ZHA는 기존 사전학습 모델의 가중치를 유지한 채 적용할 수 있다. 약 40억 토큰의 증류 학습과 8만1920개의 학습 가능 파라미터 추가만으로 도입이 가능하다는 설명이다. 큐원3.6-35B-A3B 모델 실험에서는 장문 검색, 추론, 에이전트 코딩 벤치마크에서 표준 어텐션과 대등한 성능을 냈다. LongBench v2에서는 63.4%로 표준 어텐션의 58%를 웃돌았고, 전체 KV 캐시의 약 1.1%만 참조했다. SWE-bench Verified에서는 67.4%로 표준 어텐션과 같은 점수를 기록했다.
다만 한계도 있다. NVIDIA Nemotron 3.5 Lightning에서는 ZHA의 RULER 정확도가 표준 어텐션보다 낮았고, 깊은 트리 구조에서는 최대 25.3%포인트까지 떨어졌다. 최대 35배라는 속도 향상 역시 실제로 측정된 값이 아니며, 자이프라는 아직 최적화된 실행 커널도 내놓지 않았다.
업계 동향
최근 딥시크와 미니맥스 등이 긴 문맥 처리 비용을 낮추기 위한 희소 어텐션 기법을 개발해 왔다. ZHA의 속도 비교 대상도 미니맥스의 MSA다.
한눈에 보기
ZHA란 무엇인가?
자이프라가 arXiv에 공개한 희소 어텐션 기법으로, 문맥을 요약 단위로 묶어 나무 형태의 검색 구조를 만든 뒤 필요한 부분만 참조한다.
35배 빠르다는 수치는 실제 측정값인가?
아니다. NVIDIA H100 기준 성능 예측 모델로 추정한 값이며, 실제 측정은 아직 이뤄지지 않았다. 자이프라는 최적화된 실행 커널도 공개하지 않았다.
기존 모델에도 적용할 수 있나?
가중치를 유지한 채 약 40억 토큰의 증류 학습과 8만1920개의 학습 가능 파라미터 추가로 적용할 수 있다고 논문은 설명한다.