AI

回答への投票を学習に使う質問応答AI「StackLLaMA」

この記事のポイント

  1. 実現したこと

    Stack Exchangeの質問に回答するよう、70億パラメーターの言語モデルをRLHFで調整した。

  2. 実現の仕組み

    回答への投票数と質問者による採用情報を点数に変換し、回答同士を比較する学習に使う。

  3. 得られた結果

    教師あり追加学習から報酬モデルの学習、RLHFまでの工程全体がTRLライブラリーで利用できる。

  4. 従来との違い

    元の重みを直接更新する構成から、重みを固定して追加アダプターを学習する構成に切り替えた。

投票を示す色付きの点と採用を示すクリップが付いた回答カードを天秤で比較し、3段階の学習工程を経て、固定された基盤モデルの側面にある小さなアダプターを調整する作業台の編集イラスト。
AI生成画像

回答への投票と質問者による採用情報を使い、言語モデルを質問応答向けに調整したStackLLaMAが公開された。回答の比較に使う評価点を既存の投稿情報から作り、教師あり追加学習、報酬モデルの学習、RLHFを一つの工程につなぐ。

70億パラメーターのモデルを質問応答へ適応させる

質問応答モデルStackLLaMAの基盤は、Meta AIが開発した言語モデルLLaMAの70億パラメーター版だ。Hugging Faceは、まず質問応答の領域に適応させるため、Stack Exchangeデータセットの一部で教師あり追加学習を行った。

この段階では、事前学習と同じく、続くトークンを予測する因果言語モデリングの目的関数を使う。入力する複数のテキストは、終端を示すEOSトークンで区切って連結し、モデルのコンテキスト長に切り分ける。このpacking処理によって、長さをそろえるためのパディングを使わず、バッチ内のトークンを学習に充てる。

投票と採用情報から回答の比較データを作る

質問応答の文章を学ぶ工程に続き、回答の好ましさを学ぶための評価情報を用意する。Stack Exchangeの回答には投票数と質問者による採用情報が付いており、この二つを回答の評価点に変換する。

評価点は、log2(1+賛成票数)を最も近い整数に丸めた値を基本とし、採用された回答には1点を加える。票数が負の場合は−1点とする。報酬モデルには同じ質問への二つの回答を比較させるため、回答を対にして、質問ごとに最大10組を抽出する。

8ビットの重みを保持し、追加部分だけを学習する

こうした追加学習を支えるのが、モデルを8ビットで読み込む処理と、少数のパラメーターだけを更新するLoRAの組み合わせだ。Hugging Faceが示す容量では、70億パラメーターのLLaMAを8ビットで保持すると、重みは約7GBになる。この値は重みの容量であり、学習処理全体のメモリー使用量ではない。

LoRAは、元の重みを固定したまま、特定の層に小さなアダプターを追加する。学習対象をこの追加部分に絞ることで、元の重みを直接更新する場合よりも、更新するパラメーター数を減らす。

三つの学習段階をTRLで公開

学習工程は、質問応答の文章を学ぶ教師あり追加学習、回答の比較を使う報酬・選好モデルの学習、人のフィードバックに基づく強化学習であるRLHFの順に進む。この組み合わせで調整した質問応答モデルがStackLLaMAとして公開された。

モデルに加えて、三つの段階を含む学習工程全体も、言語モデルの強化学習向けライブラリーTRLの一部として公開されている。利用者は、完成したモデルだけでなく、質問応答データの追加学習からRLHFへ進む処理も参照できる。