딥시크-V4, 정보 위치 따라 검색 정확도 40.2%p 차이
바이트댄스·프린스턴·스탠퍼드·UC버클리 연구진이 청크 KV-캐시 압축에서 위상 민감성 논문을 공개했다. V4 플래시 기본 모델 격차는 40.2%p였다.
바이트댄스와 프린스턴대, 스탠퍼드대, UC버클리 연구진이 온라인 아카이브에 'Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression'이라는 제목의 논문을 공개했다. 연구진은 청크 KV-캐시 압축에서 정보 위치에 따라 검색 정확도가 달라지는 '위상 민감성' 현상을 확인했다고 밝혔다.
aitimes.com에 따르면, 12만8000토큰 입력으로 실험한 결과 딥시크-V4 플래시 기본 모델의 검색 정확도는 정보 위치에 따라 최대 40.2%포인트(p) 차이를 보였고, V4 프로 기본 모델은 34.8%p 격차를 기록했다.
추가 학습 후 격차는 줄었다. V4 플래시는 19.1%p, V4 프로는 14.8%p, V4.1 플래시는 6.1%p로 각각 축소됐다. 연구진은 딥시크-V4, 딥시크-V4.1은 물론 직접 사전학습한 모든 압축 모델에서 같은 성능 저하 현상을 발견했다고 밝혔다.
반면 표준 전체 어텐션(full attention)을 사용한 비교 모델에서는 같은 주기적 성능 변동이 나타나지 않았다. 연구진은 높은 평균 정확도가 특정 위치의 실패와 공존할 수 있다고 지적하며, 압축 청크 내 정보 위치를 바꿔가며 성능을 측정해야 한다고 설명했다.
안전성·실사용 영향은 추가 연구 필요
연구진은 이 현상이 실제 응용 환경에서 안전성과 신뢰성에 어떤 영향을 미치는지 더 연구해야 한다고 밝혔다.
한눈에 보기
딥시크-V4 검색 정확도 격차는 얼마나 되나?
12만8000토큰 입력 실험에서 V4 플래시 기본 모델은 정보 위치에 따라 최대 40.2%포인트(p), V4 프로 기본 모델은 34.8%p 차이를 보였다.
추가 학습 후 격차는 어떻게 달라졌나?
V4 플래시는 19.1%p, V4 프로는 14.8%p, V4.1 플래시는 6.1%p로 줄었다.
표준 전체 어텐션 모델도 같은 현상을 보이나?
비교 모델로 쓴 표준 전체 어텐션 모델에서는 같은 주기적 성능 변동이 나타나지 않았다.