カメラの位置・向きを追跡する機器が、周囲の特徴点を複数の画像センサーで捉えるマーカーレス方式を採用した。発売予定の「OCELLUS」は、撮影場所へのマーカー設置を省き、追跡データとレンズ情報をCG処理や撮影後の制作へ渡す構成だ。
環境に合わせた4つのセンサーで位置・向きを追う
ソニーが発売を発表したカメラトラッキングシステムOCELLUSは、センサーユニット、プロセッシングボックス、レンズエンコーダーを組み合わせる。カメラの位置・向きを取得するセンサーユニットには5つの画像センサーがあり、利用者は撮影環境に合わせて4つを選び、同時に使用する。
ソニーによると、複数の画像センサーと、自己位置の推定と地図作成を行うVisual SLAMを使うことで、屋内外でマーカーなしの追跡が可能になる。事前のマップ作成時にマーカーを設置する工数を削減できるという。
特徴点を捉える1つのセンサーが追跡を支える
ソニーによると、使用中の4つの画像センサーのうち、1つでも有効な特徴点を捉えていればトラッキングデータを取得できる。複数のセンサーを使う構成は、視界の一部が遮られた場合の追跡を支える。
特徴点を捉えるための照明として、各画像センサーの両側には赤外線LEDを備え、暗所での運用を支援する。ソニーは、照明が頻繁に切り替わる音楽ライブ会場などでは、同梱の可視光カットユニットで可視光を遮断し、安定した追跡を行えるとしている。
追跡データを計算し、CG処理へリアルタイムに送る
センサーユニットが取得した情報は、プロセッシングボックスへ渡り、トラッキングデータの計算に使われる。計算したデータとカメラ・レンズのメタデータは、Ethernet経由でfree-dフォーマットを使い、CGレンダリングソフトのUnreal Engineなどへリアルタイムに送信できる。
撮影側の情報は、対応するソニー製カメラのSDI出力から取得する。カメラがSDIでのメタデータ送信に対応していれば、同期信号、タイムコード、ファイル名、RECトリガを取り込める。
レンズの動きを取得し、映像と同期して記録する
対応するソニー製カメラと、Cooke /i、B4、Eマウントの対応レンズを組み合わせると、レンズメタデータもカメラのSDI出力を通じて取得できる。SDI経由で取得できないレンズには、フォーカス、ズーム、アイリスの回転角度や位置を物理的に検出するレンズエンコーダーを使う。
取得したレンズ情報は、トラッキングデータやカメラのメタデータとともに記録できる。記録先はSDXCメモリーカードで、映像ファイルと同期したFBXファイルとして保存する。