大規模言語モデルの重みを1ビット化し、メモリ消費量を最大94%減らす軽量化技術を富士通が開発した。量子化誤差を層の間で処理する手法を使い、Takaneで精度維持率89%と推論速度3倍を達成したという。業務向けには、モデル構造の探索と知識蒸留を組み合わせる。
層をまたぐ誤差の処理で1ビット化を支える
重みを少ないビット数で表す量子化では、元の値との差である量子化誤差が生じる。富士通は、層の多い大規模言語モデルで誤差が蓄積する問題に対し、層をまたいで誤差を伝播させ、増大を防ぐ量子化アルゴリズムQEP(Quantization Error Propagation)を開発した。
この量子化処理には、最適化アルゴリズムQQA(Quasi-Quantum Annealing)も活用し、1ビット化を実現したという。量子化技術は、特化型AI蒸留技術とともに、モデルを軽量化する「生成AI再構成技術」を構成する。
Takaneのメモリ削減と推論高速化を両立
富士通が大規模言語モデルTakaneに量子化技術を適用した評価では、メモリ消費量が量子化前から最大94%減った。量子化前に対する精度維持率は89%で、推論速度は3倍になったとしている。
軽量化は、モデルを実行するGPUの構成にも及ぶ。富士通は、ハイエンドGPU4枚を必要とする大型生成AIモデルを、ローエンドGPU1枚で高速に実行できるようになったと説明している。
業務に合うモデル構造を選んでから知識を移す
もう一つの柱である特化型AI蒸留技術は、基盤となるモデルの構造から作り替える。不要な部分を削る枝刈りやTransformerブロックの追加によって、構造の異なる複数のモデル候補を生成する。
候補の選定には、構造を自動探索するNeural Architecture Search(NAS)と、独自の代理評価を用いる。GPUリソースや速度の要求と精度のバランスに応じて構造を選び、その構造を持つモデルへTakaneなどの教師モデルから知識を蒸留する。
商談勝敗予測で小型モデルが教師の精度を上回る
富士通は、自社のCRMデータを使って商談の勝敗を予測するテキストQAタスクで、この蒸留技術を実証した。過去データに基づくタスク固有の知識を蒸留したモデルで、推論速度11倍と精度43%改善を報告している。
この実証では、教師モデルの100分の1のパラメータ数の生徒モデルが、教師モデルを上回る精度を達成したという。必要なGPUメモリと運用コストも、それぞれ70%削減したとしている。