AIの記憶を一律に更新せず、構成要素ごとに異なる周期で学習させる。新学習手法Nested Learningを使った概念実証モデルHopeは、自己更新する記憶と複数周期の記憶モジュールを組み合わせ、Googleの評価で比較モデルを上回った。
重みの更新頻度で学習を階層に分ける
Googleが提案した学習手法Nested Learningは、一つのモデルを、互いに接続された複数の最適化問題として扱う。それぞれの問題は学習に使う情報の流れを持ち、内部に入れ子になったり、並列に動いたりする。
階層を決める基準は、各構成要素の重みをどれだけ頻繁に調整するかだ。ネットワークの構造と学習規則を、更新頻度の異なる最適化として一つの枠組みに組み込む。
学習規則も連想記憶として組み立てる
この枠組みでは、学習規則そのものも、情報同士の対応を覚える連想記憶として扱う。Googleは逆伝播を、データ点とその局所的な誤差を対応付ける処理としてモデル化した。この誤差は、入力がどれほど予想外だったかを表す。
同じ見方を最適化器へ適用し、その目的関数にL2回帰損失などを使うことで、モーメンタムの新しい定式化も導いた。L2回帰損失は予測値と目標値の差を二乗して評価し、更新の規則を作るために使う。
自己更新する記憶に複数の周期を組み込む
記憶の構成には、異なる所定の頻度で更新するモジュールを組み合わせるContinuum Memory System(CMS)を用いる。記憶ごとに更新周期を持たせ、複数の時間尺度で情報を保持する構成だ。
Googleはこの考え方を、記憶モデルTitansを基にした概念実証モデルHopeへ取り入れた。基になったモデルのパラメーター更新は2階層だったが、この再帰型モデルは自己参照によって自身の記憶を最適化し、さらにCMSのブロックを組み込んで、より大きいコンテキストウィンドウに対応する構成にした。
言語予測と常識推論で比較モデルを上回る
Googleは、広く使われる公開タスクでHopeを評価した。比較対象の再帰型モデルや標準的なTransformerに対し、言語モデル評価では低いパープレキシティ、常識推論では高い正解率を示した。
パープレキシティは、言語モデルが次の語などをどれだけ予測できるかを測る指標で、低いほど良い。今回の評価では、言語の予測と常識に基づく回答の両方で、比較対象を上回る結果が得られた。