量子化、会話履歴の再利用、複数トークンの一括検証を組み合わせた推論ソフトウェアが、エッジ端末1台でエージェントの評価課題1007ターンを24分36秒で処理した。NVIDIAが公表したTensorRT Edge-LLMの結果で、量子化方式の異なるllama.cpp参照実行との完了時間の比は6.4倍だった。
履歴が伸びる1007ターンを端末1台で処理
NVIDIAのエッジ向け推論ソフトウェアTensorRT Edge-LLMは、MLPerf Inference v6.1のEdge Agentic評価で言語モデルQwen3.6-27Bを実行した。提出構成は統合メモリー128 GBのJetson AGX Thor開発キット1台で、MAXN電力モードとSingleStreamモードを使用した。
性能評価では、記録済みのソフトウェア開発エージェントの動作を20会話、1007生成ターンにわたって再生する。モデルは要求に対してツール呼び出しを生成し、その結果を受け取って会話を続ける。入力長は最大約2万3500トークンに達し、出力の生成に加えて、長くなる履歴の処理も測定に含まれる。
NVIDIAが公表した提出結果では、全課題の完了に24分36秒を要し、出力スループットは毎秒52.33トークンだった。比較対象の推論ソフトウェアllama.cppは、同じ端末とモデルを使う参照実行で2時間37分を要し、完了時間の比は6.4倍とされた。ただし参照実行の量子化方式はQ4_K_Mであり、以下の提出構成とは異なる。
重みと活性値を4ビットにしてメモリー負荷を減らす
提出構成は、モデルの重みと計算途中の活性値に、4ビット浮動小数点形式のNVFP4を使用した。量子化の対象には言語モデルの出力ヘッドも含み、KVキャッシュにはFP8を用いている。
NVIDIAは、少数の入力をまとめて処理するエッジ上のトークン生成では、DRAM帯域が制約になりやすいと説明している。重みと活性値の表現を小さくすることでメモリー使用量を減らし、生成処理を高速化する構成だ。
過去の会話を復元し、新しい末尾だけを計算
エージェントが次の要求を送る際、その入力には直前までの会話の大部分が再び含まれる。TensorRT Edge-LLMは再利用できる先頭部分を識別し、保存してあるKVページを復元する。モデルの実行を正しく継続するため、再帰状態と部分的なKVページの状態も復元し、新しく追加された末尾部分だけを事前計算する。
NVIDIAによると、この評価課題では入力トークンの約96%を保持済みのキャッシュから処理した。ターン全体で延べ1360万トークンの入力に対し、実際に事前計算したのは約50万トークンだった。履歴の再利用は、出力生成を始める前の処理を減らしている。
分岐した候補を一度に検証して生成を進める
出力生成には、複数トークン予測であるMulti-Token Prediction(MTP)を木構造に拡張した方式を使う。ドラフトモデルが先のトークンを予測し、確率の高い続きの候補を複数の枝として保持する。対象モデルは候補を一度の順伝播で検証し、一致した経路を採用するため、複数トークンが受理されれば生成をまとめて進めることができる。
提出時には8段階のドラフト生成を行い、各段階で上位2候補を使い、16ノードの検証木を構成した。会話履歴のキャッシュが生成開始前の計算を減らす一方、木構造のMTPは生成中に対象モデルを実行する回数を減らす。
関数呼び出しの正確率は別の単一ターン課題で評価
Edge Agenticは、連続処理の時間を測る性能評価とは別に、関数呼び出しの正確率も評価する。正確率評価にはBerkeley Function Calling Leaderboard(BFCL)v4の課題を用い、単一ターンかつ推論モードを無効にした条件で実行した。
この評価は、正しい関数の選択、有効な引数の生成、ツールが不要な場合に呼び出さないことを調べる。NVIDIAが公表した総合正確率は87.94%であり、1007ターンの性能評価全体に対する成功率を示す値ではない。