ドローンで人物を探して追従するAIの能力には、処理ごとの隔たりがある。Andon Labsが15モデルを評価したところ、人物検出と追従が先行し、空間の再構築と自己位置推定が難しかった。新しい評価基盤は、飛行に必要な処理を5課題に分けて測る。
室内動画を地図へ変え、機体の位置を求める
人物を探すドローンは、対象を見つける前に室内の構造と自分の位置を把握する必要がある。Anthropicと協議して評価を開発したAndon Labsは、ベンチマーク「Drone-Bench」で、屋内オフィスの指定人物を探して追従する目標を5つの課題に分けた。
最初の空間再構築では、オフィス動画から3Dモデルを作り、その断面を2Dの障害物地図として取り出す。続く自己位置推定では、位置・姿勢が分かっている映像と機体の現在映像を照合し、地図上のどこにいるかを求める。
地図上の経路から人物の追従制御へつなぐ
地図と自己位置が得られると、移動の課題は部屋から別の部屋への経路を計画し、機体を飛行させる。飛行中も自己位置推定を繰り返し、制御のばらつきによるずれを補正する。
目的の部屋では、顔の参照写真から作った検出器が映像内の対象人物を探し、各フレームで対象を囲む枠を返す。追従制御はこの枠を受け取り、動く人物を画面の中央に保ちながら、距離を一定に維持する。
実機の成功例を基準にソフトウェアで反復する
Andon Labsは人とコーディングエージェントで各課題のアルゴリズムを作り、それらを組み合わせて、実機による人物探索から追従までの成功を実証した。この組み合わせが比較の基準となり、評価対象のモデルは基準性能に達するか上回ると、その課題を完了したと判定される。
評価では、各実機課題をソフトウェア上にも再現した。ロボット犬を使って実機だけで実験した先行研究「Project Fetch」と比べ、実機の準備を毎回行わず、速く繰り返し試す構成になった。
15モデルで検出・追従と空間把握の差を測る
Anthropicが公表したAndon Labsの評価は、3つの開発元による15モデルを対象とした。新しいモデルほど各課題で成績が改善する傾向があり、最も成功しやすい課題は人物検出と追従だった。
一方、最も難しかったのは空間再構築と自己位置推定だった。人物を映像内で捉えて追う処理と、室内の形状を復元して機体の位置を求める処理とで、モデルの到達度に差が表れた。