解剖学的構造、医療器具、センサーを一つの仮想環境に組み込む医療ロボット向けの物理シミュレーション基盤が公開された。GPUで訓練環境を並列実行し、ロボットの制御方策を実機試験前に訓練・評価できる。
解剖学的構造と器具の接触を仮想環境に組み込む
NVIDIAがオープンソースで公開した医療ロボット向け基盤「Medical Physics Simulation」は、NVIDIA Isaac for Healthcareの一部としてGPU上で動作する。開発者は解剖学的構造と医療器具の動きを組み合わせ、実機を使う前にロボットの制御方策を訓練・評価できる。
仮想環境には器具と組織の接触や摩擦に加え、センサー入力を組み込める。ロボットの動作に対して器具や周囲の構造がどう反応するかを、訓練時の条件として扱う構成だ。
物理計算と生成映像を接続する
器具の接触、摩擦、運動には、既知の物理法則に基づくシミュレーションを使う。一方、基盤に含まれるCosmos-H-Dreamsは、手技データから学習した視覚的な場面の動きを生成AIで再現する。二つの方式が、器具の物理的な挙動と周囲の映像を担う。
血管を対象とする構成では、解剖学的構造にカテーテルやガイドワイヤーなどの柔軟な器具を配置し、模擬X線画像と強化学習を接続できる。器具の操作と画像から得る情報を、制御方策の訓練に使える形で組み合わせる。
GPU上の並列実行で訓練時間を短縮
NVIDIAによると、この基盤は数百のシミュレーション環境を並列実行できる。異なる条件の環境を同時に動かすことで、開発者はロボットの制御方策を複数の状況で訓練・評価できる。
NVIDIAが示したベンチマークでは、8192のロボット訓練環境をGPU上で並列実行し、学習時間が5時間超から2分未満になった。この数値は示されたベンチマークの結果であり、すべての医療ロボットの訓練時間を表すものではない。
公開された基盤を器具と手順に合わせて使う
Medical Physics Simulationは単独で使うほか、デジタルツインの構築、医療センサーのシミュレーション、ロボット学習基盤のIsaac Labと組み合わせられる。オープンソース化により、開発者は基盤の中身を調べ、自社の器具や作業手順に合わせて変更できる。
血管内で動く医療ロボットを開発するXCathは、この基盤を自律制御方策の訓練に利用している。共通のシミュレーション基盤を個別の器具と訓練課題に適用する事例となっている。