RTX 30シリーズのテンソルコア性能を引き上げる「GPU Unlock」が公開

GitHubの開発者Zagitta氏は、Ampere世代のNvidia GeForce RTX 30シリーズを対象としたオープンソースツール「GPU Unlock」を公開した。コンシューマー向け製品では低く設定されている一部のテンソルコア演算のスループットを、プロ向け製品と同等の水準まで引き上げる。aitimes.comが伝えた。

対象となるのはFP16またはBF16で計算し、結果をFP32で蓄積する演算で、開発者によればこれらの命令スループットは2倍になる。ツールはLinuxカーネルモジュールとして動作し、NvidiaドライバーがGPUを初期化する前にハードウェア設定を変更する。ドライバーの改変やGPUファームウェアの恒久的な変更は不要としている。

開発者による行列積テストでは、消費電力上限を450Wに設定したRTX 3090 TiのBF16性能が87.5TFLOPSから157.4TFLOPSへと約80%上昇した。同じテストでFP16は約35%、TF32は約94%向上した。RTX 3080、RTX 3070、RTX 3060でも向上が報告されており、効果はカードや電力設定によって異なる。

画像・動画生成での実測例

RTX 3090 TiユーザーによるComfyUIのテストでは、MOSS-Image SFTをBF16で実行した際の1枚あたりの生成時間が約72秒から約45秒に短縮され、時間にして約37%減、同じ時間あたりの生成枚数は約59%増えた。同じテストでQwen-Image 2.1 Turboは約57%、Z-Image Turboは約56%スループットが向上した。MiniMax H3による動画生成時間は約253秒から158秒に短縮され、スループットは約60%高い。

一方、MOSS-Image SFTをINT8で実行した場合はスループットの向上が0.3%にとどまった。RTX 3090を使った別のvLLMテストではプロンプト処理が約33%高速化したが、トークン単位の生成はメモリ読み出し速度に律速されるためほぼ変化しなかった。

現時点のツールはLinux向けで、すべてのRTX 30カードで結果が保証されるわけではない。アンロック後に想定した向上が見られなかったカードもあるという。また、このツールはグラフィックスメモリの容量や帯域幅を増やすものではない。