딥시크, 추론 프레임워크 '딥인퍼' 오픈소스 공개

딥시크가 10월 20일 자사 추론 프레임워크 '딥인퍼'를 깃허브에 아파치 2.0 라이선스로 오픈소스 공개했다고 밝혔다. 이 프레임워크는 자사 모델 '딥시크-V4.1-플래시'를 실제 서비스 환경에서 구동할 수 있도록 지원한다.

딥인퍼는 엔비디아 SM100 GPU와 화웨이 어센드 950 NPU를 지원한다. 다만 현재 공개된 버전은 오프라인 추론만 가능하며, 실시간 서비스 운영에 필요한 KV 캐시 시스템과 프리필·디코딩 분리 처리, 로드 밸런싱 기능은 포함되지 않았다.

공개된 벤치마크에서 딥시크는 프리필은 GPU 4대로, 디코딩은 GPU 64대로 측정했다. 랭크당 동시 요청 256건을 처리한 디코딩 테스트에서 딥인퍼는 GPU 1대당 초당 2만 5,000개 이상의 출력 토큰을 처리했다. 딥시크는 단일 클러스터가 하루 155조 개의 토큰을 처리할 수 있다고 설명했다.

배치 크기를 4,096에서 65,536으로 늘리자 GPU당 처리량은 초당 6만 개에서 8만 9,000개로 증가했고, 지연 시간은 70ms에서 730ms로 늘었다.

커널 결합과 추측 디코딩

딥인퍼는 FlashMLA, DeepGEMM, DeepEP 등 GPU 커널과 시스템 최적화를 결합했다. 드래프트 모델이 토큰을 제안하고 본 모델이 검증하는 추측 디코딩 방식을 사용하며, 슬라이딩 윈도 어텐션의 최근 128개 토큰으로 상태를 재구성해 프리필 연산을 줄인다. 정규식과 JSON 스키마, EBNF 문법을 통한 출력 형식 제약도 지원한다.