AI

入力に応じて長期記憶を書き換えるAIモデル「Titans」

この記事のポイント

  1. 実現したこと

    Googleによると、AIモデルのTitansは専用のオフライン再学習なしに、動作中の入力を長期記憶へ取り込むことができる。

  2. 実現の仕組み

    記憶と新しい入力のずれを勾配で捉え、長期記憶を選択的に更新する。

  3. 得られた結果

    Googleは記憶設計の枠組みMIRASから、Attentionを使わない3種類のモデルを作成した。

  4. 従来との違い

    Titansの長期記憶は、従来のRNNで使う固定サイズのベクトルや行列から、多層ニューラルネットワークを使う構成になった。

明るい作業台の上で、抽象的な形片が複数層の半透明シートへ入り、記憶の一部が更新され古い形が薄れていく。右側の浅いトレーには記憶の要約と新しい入力が並ぶ。
AI生成画像

AIモデルのTitansは、入力を処理しながら長期記憶のパラメーターを書き換える。記憶と入力のずれを更新信号にし、関連する後続情報の保持と不要な情報の忘却を組み合わせる。Googleは、この設計を一般化する枠組みMIRASも示した。

多層の長期記憶をAttentionへ接続する

Googleが開発したAIモデルのTitansは、長期記憶を多層パーセプトロンというニューラルネットワークで構成する。従来のRNNが使う固定サイズのベクトルや行列に代わり、複数の層を持つネットワークを記憶の担い手にした。

この記憶をAttentionへ接続するMACと呼ぶ構成では、長期記憶が過去の情報を圧縮し、その要約をコンテキストへ組み込む。Attentionは渡された要約を参照するかどうかを判断する。

入力とのずれを記憶の更新信号にする

長期記憶へ何を取り込むかは、すでに記憶している内容と新しい入力とのずれに基づいて決める。Titansはこのずれを表す勾配をsurprise metricと呼ぶ指標として使い、記憶を選択的に更新する。

Googleによると、この更新はモデルが動作している間に行われ、専用のオフライン再学習を必要としない。入力を処理する過程で長期記憶のパラメーターが変わり、新たな情報が記憶へ取り込まれる。

関連情報を残し、不要な記憶を減衰させる

更新には、現在の入力が生んだsurpriseに加えて、過去のsurpriseもモメンタムとして反映する。これにより、個別にはずれの小さい後続情報も、直前の文脈と関連する情報として取り込む。

情報を取り込み続ける長期記憶には容量の制約がある。Titansは適応的な重み減衰を忘却ゲートとして使い、不要になった情報を捨てることで記憶容量を管理する。

MIRASが記憶の設計を四つの選択へ広げる

記憶の構造と更新・保持の処理を一般化するのが、設計の枠組みMIRASだ。系列モデルを、情報を蓄える構造、内部学習の目的関数、記憶を保持する正則化、記憶を更新する最適化アルゴリズムの四つに分けて捉える。

Googleはこの枠組みを使い、Attentionを使わない派生モデルのYAAD、MONETA、MEMORAを作成した。このうちYAADはHuber損失を用い、外れ値に対する過剰な反応を抑える設計を採用している。