ゲームエンジンが描いた画像を基礎に、光と素材の細部をAIで加える処理がDLSS 5に組み込まれた。NVIDIAは、元の場面構造や人物の同一性を保つよう設計したとしている。
ゲームエンジンの描画結果を最終処理の基礎に
NVIDIAは、AI描画技術DLSS 5の「3D-Guided Neural Rendering」を、グラフィックス処理の最終段階に加えた。ゲームエンジンが描いたフレームには、制作者が設定した形状、テクスチャ、照明の情報が含まれ、そのフレームが追加処理の基礎になる。
NVIDIAは、この基礎となる画像の場面構造や人物の同一性を保ちながら、照明と素材の細部を加えるようモデルを設計したとしている。追加する表現の範囲は、開発者が制御できる。
色情報と動きベクトルをフレームごとに処理
モデルは描画フレームの色情報と、ゲームエンジンが出力する動きベクトルを入力に使う。入力フレーム一つから出力フレーム一つを生成する方式で、連続するフレームを処理する。
NVIDIAは、この方式によってフレーム間で安定した出力が得られるとしている。モデルはGeForce RTX 50 SeriesのGPU一基でローカルに動作し、最大4Kの画像を扱うという。
モデルとマスクで描画効果を調整
開発者は複数のモデルから選び、場面、ゲームプレイ、カットシーンごとに使い分けられる。Structure Intensityは細部の表現、Tone Intensityは照明と色の変化を調整する。
効果をかける対象も分けられる。semantic AI maskingは認識された場面要素への適用を調整し、ゲームエンジン側のマスクは指定した物体や素材のまとまりを分離する。
NBA 2K27で顔の形状を保ちながら表現を追加
DLSS 5は、バスケットボールゲーム「NBA 2K27」でGeForce RTX 50 Series搭載のデスクトップPCとノートPC向けに利用可能になった。開発元のVisual Conceptsは、全体の色調と画素単位の調整用マスクを使い、人物の細部を調整している。
NVIDIAによると、このゲームではスキャンされた顔の形状を保ちながら、肌の内部での光の散乱、髪や耳を通る光、接触部分の影を強調する。