通信分野のデータで追加学習したAIが、開発元の専用評価で基盤モデルを上回った。NVIDIAは300億パラメータの通信業務向けモデルと、事業者の運用データに合わせて追加学習する手順を公開した。
通信の標準と運用データで基盤モデルを適応
NVIDIAは、通信業務向けAIモデルNemotron 3 Large Telco Modelを発表した。300億パラメータのモデルに、AI開発企業AdaptKeyが公開通信データセットを使って追加学習を施した。
AdaptKeyが公開する通信・ネットワーク工学向けモデルAdaptKey-Nemotron-30bは、基盤モデルNemotron-3-Nano-30Bをloraで追加学習したものだ。学習には130万件超の例を使い、3GPP標準やIETFプロトコルに加え、ネットワークの記録、異常検知、ネットワーク機能の設定を対象にした。
設定生成と障害診断で得点が上昇
NVIDIAは、通信業務向けモデルが業界用語を理解し、ネットワーク設定や顧客インシデントの切り分けで推論するための公開モデルとして利用できると説明している。これらの業務に関係する能力を、AdaptKeyは通信向け評価システムTeleFlowで測定した。
8項目の合計得点は、追加学習モデルが596、比較対象のNVIDIA-Nemotron-3-Nano-30B-A3B-BF16が538となり、58点の差が出た。項目別では、ネットワーク設定用YAML生成のTeleYamlが62.5から79.3へ、ログ解析と障害診断のTeleLogsが48.8から61.6へ上がった。
再質問を含む評価で最高得点を比較
AdaptKeyの評価は、回答の形式に応じて採点方法を分ける。選択肢の完全一致や数値回答など、正誤を機械的に確定できる回答を先に採点し、その方法で品質を確定できない回答にはLLMによる採点を使う。
自由記述は事実の正確さ、網羅性、誤りの有無で評価する。構造化設定の回答は、構造の妥当性に40%、内容の正確さに60%の重みを置く。採点結果が設定した閾値を下回る場合は最大5回再質問し、全試行の最高得点を記録する方式を基盤モデルにも適用しており、得点は再質問を含む条件での能力を表す。
事業者固有のネットワークと手順へ追加学習
通信業界全体のデータで学習したモデルに対し、NVIDIAは事業者ごとの運用データを使う追加学習手順も公開した。対象は通信業務向けモデルを含む公開モデルで、AI学習用のNeMo公開ライブラリを使う。
追加学習では、各事業者のネットワーク、顧客、業務手順に合わせてモデルを適応させる。一連の処理を通す手順が公開されたことで、通信分野向けのモデルを出発点に、事業者固有のデータを使った学習を進めるための実装手順を利用できる。