回答への投票と質問者による採用情報を使い、言語モデルを質問応答向けに調整したStackLLaMAが公開された。回答の比較に使う評価点を既存の投稿情報から作り、教師あり追加学習、報酬モデルの学習、RLHFを一つの工程につなぐ。
70億パラメーターのモデルを質問応答へ適応させる
質問応答モデルStackLLaMAの基盤は、Meta AIが開発した言語モデルLLaMAの70億パラメーター版だ。Hugging Faceは、まず質問応答の領域に適応させるため、Stack Exchangeデータセットの一部で教師あり追加学習を行った。
この段階では、事前学習と同じく、続くトークンを予測する因果言語モデリングの目的関数を使う。入力する複数のテキストは、終端を示すEOSトークンで区切って連結し、モデルのコンテキスト長に切り分ける。このpacking処理によって、長さをそろえるためのパディングを使わず、バッチ内のトークンを学習に充てる。
投票と採用情報から回答の比較データを作る
質問応答の文章を学ぶ工程に続き、回答の好ましさを学ぶための評価情報を用意する。Stack Exchangeの回答には投票数と質問者による採用情報が付いており、この二つを回答の評価点に変換する。
評価点は、log2(1+賛成票数)を最も近い整数に丸めた値を基本とし、採用された回答には1点を加える。票数が負の場合は−1点とする。報酬モデルには同じ質問への二つの回答を比較させるため、回答を対にして、質問ごとに最大10組を抽出する。
8ビットの重みを保持し、追加部分だけを学習する
こうした追加学習を支えるのが、モデルを8ビットで読み込む処理と、少数のパラメーターだけを更新するLoRAの組み合わせだ。Hugging Faceが示す容量では、70億パラメーターのLLaMAを8ビットで保持すると、重みは約7GBになる。この値は重みの容量であり、学習処理全体のメモリー使用量ではない。
LoRAは、元の重みを固定したまま、特定の層に小さなアダプターを追加する。学習対象をこの追加部分に絞ることで、元の重みを直接更新する場合よりも、更新するパラメーター数を減らす。
三つの学習段階をTRLで公開
学習工程は、質問応答の文章を学ぶ教師あり追加学習、回答の比較を使う報酬・選好モデルの学習、人のフィードバックに基づく強化学習であるRLHFの順に進む。この組み合わせで調整した質問応答モデルがStackLLaMAとして公開された。
モデルに加えて、三つの段階を含む学習工程全体も、言語モデルの強化学習向けライブラリーTRLの一部として公開されている。利用者は、完成したモデルだけでなく、質問応答データの追加学習からRLHFへ進む処理も参照できる。