Technology

施設カメラの映像でロボットの安全を判断、NVIDIAが模擬制御まで接続

この記事のポイント

  1. 実現したこと

    外部カメラの検出から安全判断、模擬フォークリフトへの指示までを一つの閉ループで試験できる。

  2. 実現の仕組み

    カメラ映像をAI perceptionが検出情報へ変換し、Safety Coreが設定された安全条件に基づいて制御判断を出す。

  3. 得られた結果

    実装はbase、SIL、HILの3プロファイルに分かれ、SILでは判断をROS経由で模擬機体へ戻し、HILではSafety CoreをThor上で動かす。

  4. 従来との違い

    安全の認識範囲がロボットのオンボードセンサー内から、固定インフラカメラを含む施設側へ広がった。

施設側の固定カメラが作業員と自律フォークリフトを捉え、安全判断を経て車両へ戻る閉ループを示す技術イラスト
AI生成画像

AI駆動の車両やロボットを対象とする安全設計が、機体内のセンサーだけでなく施設側のカメラまで広がった。NVIDIA Halosは、外部映像の認識、安全判断、模擬機体への指示を閉ループで接続する。

安全設計を機体内部から運用環境まで広げる

NVIDIA Halosは、AI駆動の車両やロボットを対象とするPhysical AIの安全設計を、ハードウェア、ソフトウェア、AI、運用環境、配備ライフサイクルにまたがって扱う。機体内部の故障対策だけでなく、AIの挙動と周囲の状況を同じ安全工程へ含める構成だ。

ロボット向けのNVIDIA Halos Outside-In Safety Blueprintは、この範囲を固定インフラカメラまで広げる。施設側のカメラとvision AI agentがオンボードセンサーの外側を捉え、その情報をロボットの安全判断に利用する。

カメラの検出情報をSafety Coreの判断へ渡す

外部カメラから入った映像はAI perceptionへ送られ、人物や機体などの検出情報に変換される。その検出情報をSafety Coreが受け取り、設定された安全条件と照合して、機体へ伝える判断を出力する。

倉庫のトレーラー積み込みを想定した参照例では、固定カメラが作業員と自律フォークリフトの位置関係を監視する。Safety Coreはその入力に基づき、フォークリフトがトレーラーへ進入できる状態かを判断する。

SILとHILで安全判断の閉ループを検証する

実装は、既存の認識入力へSafety Coreを接続するbase、単一ホストで閉ループを構成するSIL、実機側の計算装置を含むHILの3プロファイルに分かれる。SILプロファイルではNVIDIA Isaac Simがフォークリフトを動かし、Safety Coreが出した判断をROS経由で模擬フォークリフトへ戻す。

HILプロファイルではSafety CoreをNVIDIA Thorデバイス上で実行し、実機向け計算装置を含む構成で接続を試せる。ただし、このBlueprintは早期アクセス段階の試作、評価、統合開発向けであり、独自の認証済み安全層を持たない安全関連の本番システムを対象としていない。

専用ハードウェアから検査工程まで安全情報をつなぐ

ロボット側のNVIDIA IGX Thorは、アクセラレーテッドコンピューティングと機能安全を一つのモジュールにまとめ、専用のFunctional Safety Islandを備える。外部カメラが補う施設側の視野と、機体側で安全関連処理を分離する構成を組み合わせられる。

NVIDIA Holoscan Sensor Bridgeは、センサーデータをAIと安全関連処理へ接続する。この接続により、入力情報が無効な場合の識別と、あらかじめ定義した安全応答の実行を支援する。

NVIDIA Halos AI Systems Inspection Labは、安全、サイバーセキュリティ、AI安全の要件を反復可能な検査へ落とし込む。そこで得た検査結果は、Halosを組み込んだシステムが第三者機関による最終的なシステムレベル認証へ進むための準備に使われる。