AI

LLMの短期記憶を長期保存へ移す「睡眠」学習

この記事のポイント

  1. 実現したこと

    LLMが入力処理を休止する間に、短期記憶の情報を長期パラメーターへ移す学習サイクルを実現した。

  2. 実現の仕組み

    事前確保したMoEの記憶ブロックを有効化し、知識蒸留と強化学習に基づく模倣学習で情報を移す。

  3. 得られた結果

    Googleは、最大1000万トークンの長いコンテキストに含まれる知識を保持できたとしている。

  4. 従来との違い

    長期記憶への定着後に一時パラメーターをリセットし、次の入力を蓄える容量を空ける処理を組み込んだ。

入力を受ける処理装置から一時トレイの色付きタイルが専門家別の保存棚へ移され、右側の空になったトレイが次の入力を待つ様子を描いた、睡眠段階でのLLMの記憶定着を示す編集イラスト。
AI生成画像

LLMが新しい入力の処理を休止し、それまでに得た情報を長期パラメーターへ移す。継続学習手法のsleep frameworkは、この「睡眠」段階で記憶の定着と自己生成データによる学習を行う。Googleは、長いコンテキストの知識保持と複雑な推論の改善を報告している。

入力を受ける時間と記憶を定着させる時間を分ける

Googleが開発した継続学習手法のsleep frameworkは、LLMの動作を活動段階と睡眠段階に分ける。活動段階では入力を処理して情報を短期記憶へ蓄え、睡眠段階に入ると新しい入力の処理を止め、内部の計算を記憶の定着へ振り向ける。

この睡眠段階は、固定されたモデル構造と人間が定めた学習規則の範囲で動作する。事前に確保したMixture of Experts(MoE)の記憶ブロックを有効化し、記憶構造のHopeと組み合わせて、低ランクのExpertを更新頻度の低い記憶ブロックへ組み込む。短期記憶の情報は、この拡張した保存先へ移される。

自分が生成する文章と教師の意味を学習信号にする

短期記憶から長期パラメーターへの情報移行には、知識蒸留手法のGeneralized Knowledge Distillationと、強化学習に基づく模倣学習を組み合わせる。その一つであるOn-policy distillationでは、生徒モデル自身が生成した系列に対して教師が出力分布を与え、生徒モデルはトークンごとの学習信号を受け取る。

もう一つのLearning to imitateは、教師が生成した文章の冒頭を生徒モデルへ渡し、その続きを生成させる。生成結果に対し、意味の類似性と文字列の違いを測るLevenshtein距離に基づいて報酬を与える。情報の移行には、トークン単位の信号に加えて、文章の意味と文字列の近さも使われる。

定着した記憶を残し、一時領域を次の入力へ空ける

更新頻度の低いモジュールへの記憶定着が終わると、更新頻度の高い一時パラメーターをリセットする。これによって、次の活動段階で新しい情報を蓄える容量を空け、入力の処理から記憶の定着までのサイクルを繰り返す。

Googleは、この活動段階とオフラインの記憶定着を交互に行う方式で、最大1000万トークンの長いコンテキストに含まれる知識を保持できたとしている。この数値が指すのは保持対象となるコンテキストの規模であり、記憶の定着を挟む学習サイクルによる成果だ。

異なるExpertで生成した練習例を選んで学び直す

睡眠段階には、記憶の定着に加えてdreamingと呼ぶ自己生成データによる学習もある。合成データを作る際、MoEのルーターは通常とは異なるExpertをランダムに有効化し、異なる領域の知識を組み合わせた学習サンプルを生成する。

生成したサンプルには勾配に基づく選別をかけ、能力向上への寄与が高いと見込まれるものを優先する。高く評価されたサンプルで教師あり微調整を行い、その結果が下流タスクの性能を改善するかを評価する。Googleは、記憶の定着とこの学習を含むサイクルによって、複雑な推論の性能が向上したとしている。