200億パラメーターの言語モデルの強化学習を、メモリー24GBのGPUで実行できるようになった。8ビット化と小規模アダプターの学習に加え、学習用と参照用でモデル本体を共有する。各手順は24GB GPUで試験され、学習全体の実行にはA100を1基使用した。
学習中のモデルには参照用の出力も必要
Hugging Faceは、言語モデルの強化学習用ライブラリーTRLに、少数のパラメーターを追加学習するためのライブラリーPEFTを統合した。モデル本体の格納量と、学習時に保持する状態の両方を減らす構成だ。
強化学習アルゴリズムPPOを使う場合、学習中のモデルが元の振る舞いから離れすぎないよう、参照モデルの出力も計算する。学習用に加えて参照用のモデルを保持するとメモリーを消費するため、統合ではこの重複も削減対象にした。
8ビット化と部分的な学習で保持量を減らす
モデルの重みを格納する量は、パラメーター数にデータ型のバイト数を掛けて決まる。今回使うLLM.int8()は、線形層の行列積を分け、外れ値に関わる部分をfloat16、それ以外をint8で処理する。
8ビットで読み込んだモデル本体は固定し、LoRAと呼ぶ低ランクの小規模アダプターを学習対象として加える。更新する重みをこの追加部分に絞ることで、最適化器が保持する状態に必要なメモリーも減らす。
アダプターを外して同じ基盤を参照に使う
PEFTは、追加したアダプターを一時的に無効化する機能を備える。アダプターが有効な状態で学習用の出力を計算し、無効な状態で参照用の出力を計算することで、同じ基盤モデルが両方の役割を担う。
この切り替えにより、PPOのために基盤モデルを二重に保持する必要がなくなった。8ビット化がモデル本体の保持量を減らし、アダプターへの学習の限定が更新時の状態を減らすのに対し、この共有は参照用コピーの重複を取り除く。
24GB GPUで各手順を試験
映画レビュー生成の実装例では、レビューのデータセットIMDbを使ってアダプターを追加学習し、その重みを基盤モデルへ統合する。続いて統合済みのモデルを固定し、感情分類器の評価を報酬にして、肯定的なレビューを生成するための別のアダプターを強化学習する。
Hugging Faceは、この200億パラメーターの言語モデルGPT-NeoXの学習手順を、メモリー24GBのNVIDIA 4090 GPUで試験したとしている。学習全体の実行には、研究用クラスターのA100を1基使用した。