AI

300億パラメーターのAIモデルを単一GPUで実行する構成をNVIDIAが提示

この記事のポイント

  1. 実現したこと

    NVIDIAによると、AIエージェント向けモデルMuse Glimmerは、単一GPUで外部の推論サービスを使わずに実行できる。

  2. 実現の仕組み

    Muse Glimmerは、トークンごとに全パラメーターを使うdense構成を採り、Expertの選択やルーティングを行わない。

  3. 得られた結果

    NVIDIAはBlackwell Ultra上で、GPU当たり毎秒2万トークン超のスループットを示した。

  4. 従来との違い

    Muse Glimmerの重み配布に加え、実行設定と配信構成を自動選択するNIMコンテナーが用意された。

単一GPUのVRAM内に収まるモデル層へ、文章と画像の入力が集まる推論構成のイラスト
AI生成画像

300億パラメーターのAIモデル「Muse Glimmer」を、モデル分割やCPUへの退避を使わず、単一GPU内で推論する構成が示された。NVIDIAは、全パラメーターを毎回使うモデルの実行性能と、ローカル環境への導入・追加学習の方法を公開している。

全パラメーターを使って長い入力を処理する

NVIDIAは、Metaが公開したオープンウェイトのAIモデル「Muse Glimmer」を、ローカル環境で複数段階の作業を進めるAIエージェント向けと位置付けている。モデル規模は300億パラメーターで、コンテキストウィンドウは12万トークン超としている。

計算には、トークンごとに全パラメーターを使うdense構成を採用する。処理を担当するExpertの選択や、その選択に応じたルーティングを行わず、各トークンを同じ計算経路で処理する。

モデルとKVキャッシュを単一GPU内に保持する

ローカル推論を成立させる配置上の要点は、モデルを単一GPUのVRAMに収めることにある。NVIDIAによると、この構成ではモデルを複数GPUへ分割したり、CPUへ退避させたりする必要がなく、外部エンドポイントにも依存せず推論できるという。

GPU製品のBlackwell Ultraでは、モデル全体を保持したうえで、大きなKVキャッシュ用の余裕も確保できるとしている。NVIDIAが示したスループットはGPU当たり毎秒2万トークン超で、性能図のキャプションにはBF16精度と記されている。この値はBlackwell Ultra上の処理性能として示されており、ほかのローカル機器へ一律に当てはめることはできない。

推論手順と設定済みコンテナーを選べる

単一GPUへの配置を実際の推論環境へつなぐ経路として、推論ソフトウェアのSGLangとvLLMを使う手順が用意されている。開発者は、これらの手順を使ってNVIDIAの計算基盤上にモデルを導入することができる。

配布済みの推論コンテナーを利用する経路には、NVIDIA NIMがある。このコンテナーは実行設定と配信構成を自動選択するため、モデルの重みを取得する方法に加えて、推論環境をまとめて導入する方法も選べる。

チェックポイントを変換せずに追加学習する

用途に合わせた追加学習には、NVIDIAの学習ライブラリー「NeMo AutoModel」が対応する。モデル配布基盤Hugging Faceで使われる形式のチェックポイントを、そのまま利用でき、別形式へのモデル変換を必要としない。

学習方法には、全パラメーターを更新する教師ありファインチューニングとLoRAが用意されている。推論用の導入経路に加え、取得したモデルを用途に合わせて調整する経路も提供されている。