AI

富士通、大規模言語モデルの1ビット量子化でメモリを最大94%削減

この記事のポイント

  1. 実現したこと

    富士通は、ハイエンドGPU4枚を必要とする大型生成AIモデルを、量子化によりローエンドGPU1枚で高速に実行可能にしたとしている。

  2. 実現の仕組み

    層をまたいで量子化誤差を伝播させる手法に、最適化アルゴリズムを組み合わせて重みを1ビット化する。

  3. 得られた結果

    富士通の評価では、大規模言語モデルTakaneの量子化前に対する精度維持率は89%で、推論速度は3倍になった。

  4. 従来との違い

    商談勝敗予測の実証では、教師モデルの100分の1のパラメータ数にした生徒モデルが、教師モデルを上回る精度を達成したという。

明るい作業机の上に、灰色の細かな重みタイルから白黒の二値タイルへと変化しながら小さくなる4枚のモデル層が並び、橙色の小片が層から層へ渡されている。背景には汎用GPUワークステーションが描かれている。
AI生成画像

大規模言語モデルの重みを1ビット化し、メモリ消費量を最大94%減らす軽量化技術を富士通が開発した。量子化誤差を層の間で処理する手法を使い、Takaneで精度維持率89%と推論速度3倍を達成したという。業務向けには、モデル構造の探索と知識蒸留を組み合わせる。

層をまたぐ誤差の処理で1ビット化を支える

重みを少ないビット数で表す量子化では、元の値との差である量子化誤差が生じる。富士通は、層の多い大規模言語モデルで誤差が蓄積する問題に対し、層をまたいで誤差を伝播させ、増大を防ぐ量子化アルゴリズムQEP(Quantization Error Propagation)を開発した。

この量子化処理には、最適化アルゴリズムQQA(Quasi-Quantum Annealing)も活用し、1ビット化を実現したという。量子化技術は、特化型AI蒸留技術とともに、モデルを軽量化する「生成AI再構成技術」を構成する。

Takaneのメモリ削減と推論高速化を両立

富士通が大規模言語モデルTakaneに量子化技術を適用した評価では、メモリ消費量が量子化前から最大94%減った。量子化前に対する精度維持率は89%で、推論速度は3倍になったとしている。

軽量化は、モデルを実行するGPUの構成にも及ぶ。富士通は、ハイエンドGPU4枚を必要とする大型生成AIモデルを、ローエンドGPU1枚で高速に実行できるようになったと説明している。

業務に合うモデル構造を選んでから知識を移す

もう一つの柱である特化型AI蒸留技術は、基盤となるモデルの構造から作り替える。不要な部分を削る枝刈りやTransformerブロックの追加によって、構造の異なる複数のモデル候補を生成する。

候補の選定には、構造を自動探索するNeural Architecture Search(NAS)と、独自の代理評価を用いる。GPUリソースや速度の要求と精度のバランスに応じて構造を選び、その構造を持つモデルへTakaneなどの教師モデルから知識を蒸留する。

商談勝敗予測で小型モデルが教師の精度を上回る

富士通は、自社のCRMデータを使って商談の勝敗を予測するテキストQAタスクで、この蒸留技術を実証した。過去データに基づくタスク固有の知識を蒸留したモデルで、推論速度11倍と精度43%改善を報告している。

この実証では、教師モデルの100分の1のパラメータ数の生徒モデルが、教師モデルを上回る精度を達成したという。必要なGPUメモリと運用コストも、それぞれ70%削減したとしている。