NVIDIAが4GB級の小型モデル公開

NVIDIAは2026年10月23日、約4GBのメモリ環境で動作するよう設計したオープンソースの軽量言語モデル「Nemotron 3.5 Bolt E4B 4GB」を公開した。ロボットやゲーム、端末上のエージェントでの利用を想定している。aitimes.comが報じた。

モデルはGoogleの「Gemma 4 E4B」を基に、NVIDIAの事後学習手法を適用して構築した。GeForce RTX、Jetson、RTX Spark、DGX Sparkといった同社ハードウェアで動作する。会話中にAPIを呼び出して実際の作業をこなし、複数ターンのタスク継続にも対応する。短文で答える会話モードと、オン・オフを切り替えられる推論モードを備え、コンテキスト長は最大64,000トークン、35言語を扱う。基盤モデルは140言語以上で事前学習されていた。

ベンチマークと配布方法

主な対話エージェントのベンチマークでは、従来のNemotron 3 Nano 4Bを平均で約40%上回り、比較対象モデルを平均で約10%上回った。推論を有効にした比較では出力トークン数を最大80%削減した。21のベンチマークのうち15で競合モデルを上回った一方、長文コンテキストやツール呼び出しの評価ではQwen3.5-4Bが先行した例もあり、Tau2-BenchではBoltが55.1点、Qwen3.5-4Bが75.1点だった。

学習にはNemo-RLとNemo-Gymの枠組みを用いたRLVRとRLHFを採用し、ツール呼び出し、指示追従、構造化出力、複数ターン対話を事後学習に含めた。推論あり・なしのデータは2対1の比率で用いた。公開モデルは選定したBF16チェックポイントからQ4_K_M形式に量子化し、約100万トークンの強化学習データでimatrixキャリブレーションを行っている。

併せて、並列推論用のDFlashドラフターも公開した。Gemma 4 E4Bの既存ドラフターと比べてスループットを最大21%高める。モデルはHugging Face、Ollama、LM Studio、Unsloth、Jetson AI Labで入手できる。NVIDIAのゲーム内推論SDKを使えばゲームキャラクターへの適用も可能だ。