깃허브 개발자, RTX 30 시리즈 텐서코어 성능 올리는 'GPU 언락' 공개
리눅스 커널 모듈로 드라이버 초기화 전 하드웨어 설정을 바꾸며, 사용자 테스트에서 영상 생성 처리량이 약 60% 늘었다.
깃허브 개발자 자기타(Zagitta)가 Nvidia GeForce RTX 30 시리즈 그래픽카드의 텐서코어 처리량을 끌어올리는 오픈소스 도구 'GPU 언락'을 공개했다고 IT 매체 aitimes가 보도했다. 대상은 Ampere 아키텍처 기반 RTX 30 시리즈다.
이 도구는 소비자용 제품에서 낮게 설정된 특정 텐서코어 연산의 처리량을 전문가용 제품 수준으로 올린다. FP16 또는 BF16으로 계산하고 결과를 FP32로 누적하는 연산이 대상이며, 개발자는 해당 연산의 명령 처리량이 2배가 된다고 설명했다.
작동 방식은 리눅스 커널 모듈이다. Nvidia 드라이버가 GPU를 초기화하기 전에 하드웨어 설정을 바꾸며, 드라이버를 수정하거나 그래픽카드 펌웨어를 영구적으로 변경할 필요는 없다.
테스트에서 드러난 성능 변화
개발자의 행렬 곱셈 테스트에서 RTX 3090 Ti의 BF16 성능은 전력 제한 450W 기준 87.5 TFLOPS에서 157.4 TFLOPS로 약 80% 올랐다. 같은 테스트에서 FP16은 약 35%, TF32는 약 94% 향상됐다. RTX 3080, RTX 3070, RTX 3060에서도 카드와 전력 설정에 따라 개선 폭이 다르게 나타났다.
한 RTX 3090 Ti 사용자의 ComfyUI 테스트에서는 BF16으로 구동한 MOSS-이미지 SFT가 이미지 1장을 약 72초에서 약 45초에 생성해 시간이 약 37% 줄었다. 같은 조건에서 처리량은 큐원-이미지 2.1 터보가 약 57%, Z-이미지 터보가 약 56% 늘었다. 미니맥스 H3의 영상 생성 시간은 약 253초에서 158초로 줄어 처리량이 약 60% 높아졌다. 반면 MOSS-이미지 SFT를 INT8로 실행했을 때는 처리량 증가가 0.3%에 그쳤다.
별도의 RTX 3090 vLLM 테스트에서는 프롬프트 처리가 약 33% 빨라졌지만, 토큰 단위 생성은 메모리 읽기 속도에 묶여 거의 변화가 없었다. 현재 도구는 리눅스만 지원하며 모든 RTX 30 카드에서 결과가 보장되지 않는다. 일부 카드는 잠금 해제 후 기대한 성능 향상을 보이지 않았다. 이 도구는 그래픽 메모리 용량이나 메모리 대역폭을 늘려주지는 않는다.
한눈에 보기
GPU 언락은 어떤 그래픽카드에서 쓸 수 있나?
Ampere 기반 Nvidia GeForce RTX 30 시리즈를 대상으로 하며, 현재 리눅스에서만 작동한다. 모든 카드에서 성능 향상이 보장되지는 않는다.
그래픽 메모리도 늘어나나?
아니다. 이 도구는 그래픽 메모리 용량이나 메모리 대역폭을 늘리지 않는다.
이미지 생성 속도는 얼마나 빨라지나?
RTX 3090 Ti 사용자 테스트에서 MOSS-이미지 SFT는 이미지 1장 생성 시간이 약 72초에서 약 45초로 줄었고, 큐원-이미지 2.1 터보 처리량은 약 57%, Z-이미지 터보는 약 56% 늘었다.