Q Labs、Noise実験を3000万トークンに拡大 10月22日から

Q Labsは、バックプロパゲーションを使わない学習アルゴリズム「Dust」に基づくオープンソース実験「Noise」について、10月22日から評価を3000万トークン規模に拡大したと発表した。同社の発表をaitimes.comが報じた。

従来の評価では、3770万パラメータの小規模なGPTモデルを最大1000万トークンのFineWebで単一パスで学習させていた。今回の評価は8基のH100 GPUを載せた単一ノードで実行され、目標損失は3.5に設定されている。

拡張では、モデルアーキテクチャを自由に変更できるトラックも追加された。Q Labsは10月22日をもって1000万トークンでの評価を終了したという。

Q Labsは当初、このプロジェクトで約4000倍の高速化を報告していた。最初の記録では目標損失までの到達時間が1.76時間から1.6秒に短縮されたとしている。また、最良損失は4.167から3.676へ改善し、Adamオプティマイザを使ったバックプロパゲーションのベースライン3.769を下回った。

一方、双方に同じ最適化アルゴリズムを適用した比較では、バックプロパゲーションの方が高速だった。Dustの元の研究では、重みではなく活性化値の変更と、その結果から重み更新の方向を推定する手法が説明されている。