AI

200億パラメーターの言語モデルを24GB GPUで強化学習

この記事のポイント

  1. 実現したこと

    200億パラメーターの言語モデルを追加学習する各手順が、メモリー24GBのGPUで動作した。

  2. 実現の仕組み

    8ビットで保持するモデル本体を固定し、小規模なアダプターだけを学習してメモリーを節約する。

  3. 得られた結果

    映画レビュー生成の実装例では、感情分類器を報酬に使い、学習全体はA100を1基使って実行した。

  4. 従来との違い

    学習用と参照用に基盤モデルを二重に持つ構成から、アダプターの切り替えで一つの基盤を共有する構成になった。

明るい作業台の中央に、固定された大きなモデル基盤を表すタイル状のブロックがあり、小型アダプターと切り替えレバーを介して左右の出力トレーにつながっている。
AI生成画像

200億パラメーターの言語モデルの強化学習を、メモリー24GBのGPUで実行できるようになった。8ビット化と小規模アダプターの学習に加え、学習用と参照用でモデル本体を共有する。各手順は24GB GPUで試験され、学習全体の実行にはA100を1基使用した。

学習中のモデルには参照用の出力も必要

Hugging Faceは、言語モデルの強化学習用ライブラリーTRLに、少数のパラメーターを追加学習するためのライブラリーPEFTを統合した。モデル本体の格納量と、学習時に保持する状態の両方を減らす構成だ。

強化学習アルゴリズムPPOを使う場合、学習中のモデルが元の振る舞いから離れすぎないよう、参照モデルの出力も計算する。学習用に加えて参照用のモデルを保持するとメモリーを消費するため、統合ではこの重複も削減対象にした。

8ビット化と部分的な学習で保持量を減らす

モデルの重みを格納する量は、パラメーター数にデータ型のバイト数を掛けて決まる。今回使うLLM.int8()は、線形層の行列積を分け、外れ値に関わる部分をfloat16、それ以外をint8で処理する。

8ビットで読み込んだモデル本体は固定し、LoRAと呼ぶ低ランクの小規模アダプターを学習対象として加える。更新する重みをこの追加部分に絞ることで、最適化器が保持する状態に必要なメモリーも減らす。

アダプターを外して同じ基盤を参照に使う

PEFTは、追加したアダプターを一時的に無効化する機能を備える。アダプターが有効な状態で学習用の出力を計算し、無効な状態で参照用の出力を計算することで、同じ基盤モデルが両方の役割を担う。

この切り替えにより、PPOのために基盤モデルを二重に保持する必要がなくなった。8ビット化がモデル本体の保持量を減らし、アダプターへの学習の限定が更新時の状態を減らすのに対し、この共有は参照用コピーの重複を取り除く。

24GB GPUで各手順を試験

映画レビュー生成の実装例では、レビューのデータセットIMDbを使ってアダプターを追加学習し、その重みを基盤モデルへ統合する。続いて統合済みのモデルを固定し、感情分類器の評価を報酬にして、肯定的なレビューを生成するための別のアダプターを強化学習する。

Hugging Faceは、この200億パラメーターの言語モデルGPT-NeoXの学習手順を、メモリー24GBのNVIDIA 4090 GPUで試験したとしている。学習全体の実行には、研究用クラスターのA100を1基使用した。