AI

言語モデルGemma 3の全層解析に対応する新ツール

この記事のポイント

  1. 実現したこと

    チャット向けGemma 3の拒否機構や、出力された推論過程と内部状態の対応を分析するツールが利用可能になった。

  2. 実現の仕組み

    Sparse Autoencoderが内部の活性を少数の特徴へ分解し、Transcoderと組み合わせてモデルの挙動とのつながりを調べる。

  3. 得られた結果

    Google DeepMindは、Matryoshka学習の採用で、特徴を抽出するSAEの一部の問題を解消したとしている。

  4. 従来との違い

    初代の公開時はGemma 2の20億・90億パラメーターが対象だったが、新版はGemma 3の2億7000万〜270億の全サイズに対応した。

明るい作業台に並ぶ半透明の層状プレート。左のプレートに混在する色と形の記号が、中央で少数の形ごとに仕分けられ、右側の層へ同じ形が続いている。Gemma 3の内部活性をSAEで特徴に分解し、Transcoderで層をまたぐ計算を追う概念を描いた編集イラスト。
AI生成画像

言語モデルGemma 3の全サイズで、各層の内部表現と多段階の計算を調べる解釈ツールが公開された。Gemma Scope 2は、内部の活性を特徴へ分解する道具と、計算のつながりを追う道具を組み合わせ、チャット向けに調整したモデルの挙動も解析対象にする。

解析対象をGemma 3の全サイズへ拡張

Google DeepMindが公開した言語モデル解釈ツール群Gemma Scope 2は、公開モデル群Gemma 3の2億7000万〜270億パラメーターに対応する。サイズの異なるモデルを対象に、内部の働きを調べる道具が揃った。

初代のGemma Scopeは、公開時にはGemma 2の20億・90億パラメーターモデルを対象としていた。新版では対象世代を更新するとともに、小型から270億パラメーターまで解析対象を広げた。

混在する内部の活性を少数の特徴へ分解

解析の出発点となる内部の活性には、複数の特徴が混在している。個々のニューロンも無関係な複数の特徴に反応するため、その反応だけから特徴を読み取ることは難しい。

Sparse Autoencoder(SAE)は、候補となる特徴の集合を学習し、一つの活性を少数の特徴へ分解する。ただし、抽出された特徴の意味が最初から分かるわけではなく、研究者はその特徴が反応するテキスト例に共通するパターンを調べる。

各層の特徴から多段階の計算を追う

Gemma Scope 2は、Gemma 3の各層で学習したSAEに、計算のつながりを解析するTranscoderを組み合わせる。Google DeepMindは、その一種であるSkip-transcoderとCross-layer Transcoderによって、モデル内に分散した多段階の計算やアルゴリズムを解読しやすくなると説明している。

特徴を抽出するSAEの学習には、Matryoshkaという学習手法も採用した。Google DeepMindは、この手法がより有用な概念の検出を助け、初代で見つかった一部の問題を解消するとしている。

チャットの拒否や推論説明も解析対象に

解析用の道具は、チャット用途に調整したGemma 3にも用意された。Google DeepMindは、安全制約を回避させる入力への挙動や、応答を拒否する機構など、複雑で多段階の振る舞いを分析できると説明している。

分析対象には、モデルが出力する推論過程が内部の処理に忠実かどうかも含まれる。出力された説明と内部状態との対応を調べることが、チャット向けツールの具体的な用途となる。