AIエージェントが、実測センサーデータと仮想空間の出力の差を測り、シーンの修正を繰り返した。NVIDIAによると、人が指揮した約3日間の工程で、デジタルツイン2件を新規作成し、既存2件を改善した。
実測データと仮想センサーの出力を比較する
NVIDIAでRTXセンサーの検証を担当するAshley Reidは、AIモデルGPT-6 AstraとClaude Fable 5を使うエージェントに、仮想カメラの出力と生のlidar出力を記録済みの実測データと比較させた。比較対象は、現実の環境を仮想空間に再現するデジタルツインで、両方のセンサー出力の差を測る工程を組み込んだ。
仮想センサーの出力には、センサーシミュレーション用ライブラリovrtxを使った。このライブラリは、Omniverse RTXによるシミュレーションと可視化をCやPythonのアプリケーションへ組み込む役割を持つ。
共通のシーンデータを描画と物理計算へ渡す
シーンを編集し、その状態を描画へ渡すためのライブラリがovstageだ。位置・姿勢、材質、階層などを共通の実行時表現で保持し、複数のOmniverseライブラリが同じ状態を受け渡すことができる。
例えば、物理シミュレーション用ライブラリovphysxが位置・姿勢や関節状態を更新すると、ovrtxはその更新をovstageから読み取ることができる。ovrtxはバージョン0.4からこの共通基盤と統合され、従来のレンダラー側のシーン読み込み・管理APIは互換性のために残るものの、非推奨となった。
物体・形状・材質を修正し、センサー指標で判定する
Reidが指揮した実験では、エージェントが差を測り、3Dシーンを記述するOpenUSDのシーンを作成または修正し、その結果を確認する工程を約3日間繰り返した。変更は、欠けていた物体や、形状・材質の問題に対処するものだった。
修正結果を受け入れるかどうかは、カメラとlidarの評価指標に基づいて判断した。NVIDIAは、この工程でデジタルツイン2件を新規作成し、既存の2件を改善したとしている。
3Dアセットの編集と検証を反復する参照実装
関連する3Dアセット制作の仕組みとして、NVIDIAはエージェント型ワークフローの参照実装USD Content Agentsも提供している。これはOpenUSDアセットの生成、理解、属性付与、シミュレーション、検証を扱い、コーディングエージェントが計画と証拠の評価を担う一方、型付きツールが編集や描画などを実行する。
処理後は、描画、スキーマ、シミュレーション、視覚的な証拠を評価し、結果を受け入れるか、回数などを制限した再修正へ戻すかを判断する。各ワークフローは、処理内容に応じて入力、編集済みUSD、描画結果、検証報告、実行記録などを永続的な実行ディレクトリへ保存する。