言語モデルGemma 3の全サイズで、各層の内部表現と多段階の計算を調べる解釈ツールが公開された。Gemma Scope 2は、内部の活性を特徴へ分解する道具と、計算のつながりを追う道具を組み合わせ、チャット向けに調整したモデルの挙動も解析対象にする。
解析対象をGemma 3の全サイズへ拡張
Google DeepMindが公開した言語モデル解釈ツール群Gemma Scope 2は、公開モデル群Gemma 3の2億7000万〜270億パラメーターに対応する。サイズの異なるモデルを対象に、内部の働きを調べる道具が揃った。
初代のGemma Scopeは、公開時にはGemma 2の20億・90億パラメーターモデルを対象としていた。新版では対象世代を更新するとともに、小型から270億パラメーターまで解析対象を広げた。
混在する内部の活性を少数の特徴へ分解
解析の出発点となる内部の活性には、複数の特徴が混在している。個々のニューロンも無関係な複数の特徴に反応するため、その反応だけから特徴を読み取ることは難しい。
Sparse Autoencoder(SAE)は、候補となる特徴の集合を学習し、一つの活性を少数の特徴へ分解する。ただし、抽出された特徴の意味が最初から分かるわけではなく、研究者はその特徴が反応するテキスト例に共通するパターンを調べる。
各層の特徴から多段階の計算を追う
Gemma Scope 2は、Gemma 3の各層で学習したSAEに、計算のつながりを解析するTranscoderを組み合わせる。Google DeepMindは、その一種であるSkip-transcoderとCross-layer Transcoderによって、モデル内に分散した多段階の計算やアルゴリズムを解読しやすくなると説明している。
特徴を抽出するSAEの学習には、Matryoshkaという学習手法も採用した。Google DeepMindは、この手法がより有用な概念の検出を助け、初代で見つかった一部の問題を解消するとしている。
チャットの拒否や推論説明も解析対象に
解析用の道具は、チャット用途に調整したGemma 3にも用意された。Google DeepMindは、安全制約を回避させる入力への挙動や、応答を拒否する機構など、複雑で多段階の振る舞いを分析できると説明している。
分析対象には、モデルが出力する推論過程が内部の処理に忠実かどうかも含まれる。出力された説明と内部状態との対応を調べることが、チャット向けツールの具体的な用途となる。