AI

AIの記憶を異なる周期で更新する新学習手法

この記事のポイント

  1. 実現したこと

    概念実証モデルHopeは、自己参照によって自身の記憶を最適化する。

  2. 実現の仕組み

    学習手法Nested Learningは、モデル内部を更新頻度の異なる最適化問題に分け、相互に接続する。

  3. 得られた結果

    Googleの評価で、Hopeは比較対象より言語モデル評価のパープレキシティが低く、常識推論の正解率が高かった。

  4. 従来との違い

    更新が2階層の記憶モデルTitansを基にしたHopeには、異なる周期で更新する記憶モジュール群が加わった。

明るい作業台の上に、色の異なる記憶タイルを収めた複数の区画が重なる円形の概念図。区画ごとにタイルの入れ替わり具合が異なり、中央には自己更新を示す矢印状の戻り道が描かれている。
AI生成画像

AIの記憶を一律に更新せず、構成要素ごとに異なる周期で学習させる。新学習手法Nested Learningを使った概念実証モデルHopeは、自己更新する記憶と複数周期の記憶モジュールを組み合わせ、Googleの評価で比較モデルを上回った。

重みの更新頻度で学習を階層に分ける

Googleが提案した学習手法Nested Learningは、一つのモデルを、互いに接続された複数の最適化問題として扱う。それぞれの問題は学習に使う情報の流れを持ち、内部に入れ子になったり、並列に動いたりする。

階層を決める基準は、各構成要素の重みをどれだけ頻繁に調整するかだ。ネットワークの構造と学習規則を、更新頻度の異なる最適化として一つの枠組みに組み込む。

学習規則も連想記憶として組み立てる

この枠組みでは、学習規則そのものも、情報同士の対応を覚える連想記憶として扱う。Googleは逆伝播を、データ点とその局所的な誤差を対応付ける処理としてモデル化した。この誤差は、入力がどれほど予想外だったかを表す。

同じ見方を最適化器へ適用し、その目的関数にL2回帰損失などを使うことで、モーメンタムの新しい定式化も導いた。L2回帰損失は予測値と目標値の差を二乗して評価し、更新の規則を作るために使う。

自己更新する記憶に複数の周期を組み込む

記憶の構成には、異なる所定の頻度で更新するモジュールを組み合わせるContinuum Memory System(CMS)を用いる。記憶ごとに更新周期を持たせ、複数の時間尺度で情報を保持する構成だ。

Googleはこの考え方を、記憶モデルTitansを基にした概念実証モデルHopeへ取り入れた。基になったモデルのパラメーター更新は2階層だったが、この再帰型モデルは自己参照によって自身の記憶を最適化し、さらにCMSのブロックを組み込んで、より大きいコンテキストウィンドウに対応する構成にした。

言語予測と常識推論で比較モデルを上回る

Googleは、広く使われる公開タスクでHopeを評価した。比較対象の再帰型モデルや標準的なTransformerに対し、言語モデル評価では低いパープレキシティ、常識推論では高い正解率を示した。

パープレキシティは、言語モデルが次の語などをどれだけ予測できるかを測る指標で、低いほど良い。今回の評価では、言語の予測と常識に基づく回答の両方で、比較対象を上回る結果が得られた。