AI

動画の立体形状と動きを一つのAIで復元するD4RT

この記事のポイント

  1. 実現したこと

    動画解析AIのD4RTは、別のフレームで見えない対象についても3次元軌跡を予測できる。

  2. 実現の仕組み

    動画を形状と動きの圧縮表現に変換し、指定した時刻・視点での画素の3次元位置を並列に問い合わせる。

  3. 得られた結果

    Google DeepMindの処理例では、単一のTPUチップで1分間の動画を約5秒で処理した。

  4. 従来との違い

    深度や動きなどに特化した複数モデルを組み合わせる構成から、場面の復元と追跡を一つのモデルで処理する構成へ統合した。

複数の視点と時間段階を重ねた抽象的な点群の立体場面。中央の点群形状と色分けされた点の移動が、動画からの形状復元と3次元追跡を表している。
AI生成画像

動画に映る立体形状と、その時間変化を一つのAIモデルで復元するD4RTが登場した。画素の3次元位置を時刻と視点を変えて問い合わせることで、点の追跡、点群の生成、カメラの軌跡推定を共通の仕組みで処理する。

形状の復元と動きの追跡を一つのモデルへ

Google DeepMindが開発した動画解析AIのD4RTは、動的な場面の復元と追跡を一つのモデルへ統合した。対象は、3次元の空間に時間を加えた4次元の場面である。

Google DeepMindは、従来の復元には計算負荷の大きい処理や、深度、動き、カメラ角度などに特化した複数モデルの組み合わせが必要だったと説明している。D4RTはこれらを共通の問い合わせで処理する構成を採った。

動画の圧縮表現から必要な位置を取り出す

モデルはエンコーダー・デコーダー型のTransformerで構成される。エンコーダーが入力動画を処理し、場面の形状と動きをまとめた圧縮表現を作る。

軽量なデコーダーはその表現を受け取り、動画中の指定画素が、指定時刻に、選んだカメラ視点でどの3次元位置にあるかを求める。それぞれの問い合わせは独立しており、並列に処理できる。

時刻と視点の指定で追跡・点群・カメラ推定を切り替える

Google DeepMindによると、時刻を変えながら同じ画素の位置を問い合わせれば、対象の3次元軌跡を予測できる。別のフレームで対象が見えていない場合も、位置の予測が可能だという。

時刻とカメラ視点を固定すると、出力は場面の立体形状を表す点群になる。この生成では、別途のカメラ推定や動画ごとの反復最適化が不要になるとしている。

さらに、同じ瞬間の3次元構造を異なる視点から生成し、それらを位置合わせするとカメラの軌跡を推定できる。問い合わせる時刻と視点の組み合わせによって、対象の移動と撮影側の移動を扱う処理を切り替える。

単一TPUで1分間の動画を約5秒で処理

Google DeepMindの試験では、D4RTは従来の最先端手法に対して18~300倍の処理速度を示した。この範囲は評価された処理の比較結果であり、すべての動画に一律に適用する速度倍率ではない。

具体的な処理例では、単一のTPUチップで1分間の動画を約5秒で処理した。入力動画の長さを大きく下回る時間で処理を終えた例となる。