AI

小型モデルの先読みを一括検証し、言語モデルの生成を高速化

この記事のポイント

  1. 実現したこと

    モデル実行ライブラリのtransformersで、補助モデルを指定した文章生成が利用できるようになった。

  2. 実現の仕組み

    小型モデルが候補列を先読みし、対象モデルが先頭からの一致を調べて採用する範囲を決める。

  3. 得られた結果

    Hugging Faceの測定では、GPUメモリーに収まるモデルでINT8使用時に最大3倍の高速化を得た。

  4. 従来との違い

    対象モデルが1トークンずつ生成する処理に、複数の候補を一度の順伝播で検証する処理が加わった。

明るい背景の左側で小さな抽象形状が候補タイルを並べ、右側の大きな形状が列を一括検証する図解。先頭の一致部分は青緑、一致しない箇所は琥珀色、後続候補は破線で示され、右端には採用されたトークン列が続く。
AI生成画像

小型モデルに続きの文章を先読みさせ、大きなモデルがまとめて検証する生成方式「Assisted Generation」が利用できるようになった。候補が連続して一致する区間では、大きなモデルを1トークンごとに実行する回数を減らす。

重みの読み出しを候補列の検証に生かす

文章生成の高速化方式であるAssisted Generationは、小型の補助モデルが生成した候補列を、対象モデルの一度の順伝播で検証する。Hugging Faceが公開した実装は、この候補生成と検証を繰り返して文章を延ばす。

Hugging Faceは、大規模モデルの順伝播では重みをメモリーから演算部へ読み込む帯域がボトルネックになると説明している。候補列をまとめて検証する処理は、重みを読み出した一度の実行から、複数トークンの採否を決めるために使う。

最初の不一致までを採用する

対象モデルは、入力列の各位置について、それより後のトークンを参照せずに次トークンの予測値を計算できる。この性質を使えば、候補列を一括して入力しても、各候補がそれまでの文脈に沿うかを調べられる。

検証では候補を先頭から照合し、一致した部分を残す。最初に不一致となった位置では対象モデルが選んだトークンを採用し、それより後の候補は破棄して、確定した列から生成を続ける。

一致率に合わせて先読みの長さを調整する

補助モデルにも候補を生成する時間がかかるため、初期実装は先読みの長さを固定しない。候補数を5から始め、すべて一致すれば次回は2増やし、不一致があれば1減らす。

補助モデルと対象モデルには、同じトークナイザーを使う必要がある。トークンの区切り方を共通にすることで、候補をいったん文字列へ戻し、対象モデル向けに再符号化する処理を避ける。

GPUメモリーへの収まり方で速度向上が変わる

Hugging Faceのバッチサイズ1の貪欲デコード測定では、モデルがGPUメモリーに収まる場合、INT8使用時に最大3倍、それ以外で最大2倍の高速化を得た。モデルが収まらずメモリーオフロードを使う条件では、最大10倍の高速化を得たとしている。

モデル実行ライブラリのtransformersでは、generate()のassistant_model引数に補助モデルを渡して利用する。公開時の対応範囲はバッチサイズ1である。