AIモデルのTitansは、入力を処理しながら長期記憶のパラメーターを書き換える。記憶と入力のずれを更新信号にし、関連する後続情報の保持と不要な情報の忘却を組み合わせる。Googleは、この設計を一般化する枠組みMIRASも示した。
多層の長期記憶をAttentionへ接続する
Googleが開発したAIモデルのTitansは、長期記憶を多層パーセプトロンというニューラルネットワークで構成する。従来のRNNが使う固定サイズのベクトルや行列に代わり、複数の層を持つネットワークを記憶の担い手にした。
この記憶をAttentionへ接続するMACと呼ぶ構成では、長期記憶が過去の情報を圧縮し、その要約をコンテキストへ組み込む。Attentionは渡された要約を参照するかどうかを判断する。
入力とのずれを記憶の更新信号にする
長期記憶へ何を取り込むかは、すでに記憶している内容と新しい入力とのずれに基づいて決める。Titansはこのずれを表す勾配をsurprise metricと呼ぶ指標として使い、記憶を選択的に更新する。
Googleによると、この更新はモデルが動作している間に行われ、専用のオフライン再学習を必要としない。入力を処理する過程で長期記憶のパラメーターが変わり、新たな情報が記憶へ取り込まれる。
関連情報を残し、不要な記憶を減衰させる
更新には、現在の入力が生んだsurpriseに加えて、過去のsurpriseもモメンタムとして反映する。これにより、個別にはずれの小さい後続情報も、直前の文脈と関連する情報として取り込む。
情報を取り込み続ける長期記憶には容量の制約がある。Titansは適応的な重み減衰を忘却ゲートとして使い、不要になった情報を捨てることで記憶容量を管理する。
MIRASが記憶の設計を四つの選択へ広げる
記憶の構造と更新・保持の処理を一般化するのが、設計の枠組みMIRASだ。系列モデルを、情報を蓄える構造、内部学習の目的関数、記憶を保持する正則化、記憶を更新する最適化アルゴリズムの四つに分けて捉える。
Googleはこの枠組みを使い、Attentionを使わない派生モデルのYAAD、MONETA、MEMORAを作成した。このうちYAADはHuber損失を用い、外れ値に対する過剰な反応を抑える設計を採用している。