300億パラメーターのAIモデル「Muse Glimmer」を、モデル分割やCPUへの退避を使わず、単一GPU内で推論する構成が示された。NVIDIAは、全パラメーターを毎回使うモデルの実行性能と、ローカル環境への導入・追加学習の方法を公開している。
全パラメーターを使って長い入力を処理する
NVIDIAは、Metaが公開したオープンウェイトのAIモデル「Muse Glimmer」を、ローカル環境で複数段階の作業を進めるAIエージェント向けと位置付けている。モデル規模は300億パラメーターで、コンテキストウィンドウは12万トークン超としている。
計算には、トークンごとに全パラメーターを使うdense構成を採用する。処理を担当するExpertの選択や、その選択に応じたルーティングを行わず、各トークンを同じ計算経路で処理する。
モデルとKVキャッシュを単一GPU内に保持する
ローカル推論を成立させる配置上の要点は、モデルを単一GPUのVRAMに収めることにある。NVIDIAによると、この構成ではモデルを複数GPUへ分割したり、CPUへ退避させたりする必要がなく、外部エンドポイントにも依存せず推論できるという。
GPU製品のBlackwell Ultraでは、モデル全体を保持したうえで、大きなKVキャッシュ用の余裕も確保できるとしている。NVIDIAが示したスループットはGPU当たり毎秒2万トークン超で、性能図のキャプションにはBF16精度と記されている。この値はBlackwell Ultra上の処理性能として示されており、ほかのローカル機器へ一律に当てはめることはできない。
推論手順と設定済みコンテナーを選べる
単一GPUへの配置を実際の推論環境へつなぐ経路として、推論ソフトウェアのSGLangとvLLMを使う手順が用意されている。開発者は、これらの手順を使ってNVIDIAの計算基盤上にモデルを導入することができる。
配布済みの推論コンテナーを利用する経路には、NVIDIA NIMがある。このコンテナーは実行設定と配信構成を自動選択するため、モデルの重みを取得する方法に加えて、推論環境をまとめて導入する方法も選べる。
チェックポイントを変換せずに追加学習する
用途に合わせた追加学習には、NVIDIAの学習ライブラリー「NeMo AutoModel」が対応する。モデル配布基盤Hugging Faceで使われる形式のチェックポイントを、そのまま利用でき、別形式へのモデル変換を必要としない。
学習方法には、全パラメーターを更新する教師ありファインチューニングとLoRAが用意されている。推論用の導入経路に加え、取得したモデルを用途に合わせて調整する経路も提供されている。