ロボットの動作軌道を生成してから仮想環境で試し、結果映像の評価を次の修正へ戻す手法SAILが、軌道探索の成功率を改善した。6つの操作作業のシミュレーションでは、探索候補を1件から45件へ増やすと、成功軌道を見つける平均割合が25%から73%へ上昇した。
少数の成功実演から動作軌道を生成する
ロボットの動作軌道生成手法SAILは、少数の成功実演を視覚言語モデル(VLM)へ与え、動作軌道を生成する。Sakana AIと東京大学が共同で開発したこの手法では、軌道生成用のモデルが実演を条件として動作を組み立て、その出力をシミュレーションで試す段階へ渡す。
試行映像から作業が停滞した箇所を探す
シミュレーターで軌道を実行すると、その結果映像を評価用のVLMが確認する。評価の対象は作業の進み方であり、モデルは進行が停滞した箇所を特定する。この評価から得たフィードバックを軌道生成用のVLMが受け取り、動作軌道を修正する。
別の候補を探索しながら有望な軌道を改良する
軌道の修正には、モンテカルロ木探索(MCTS)を組み合わせる。探索は別の軌道候補を調べる処理と、有望な候補を改良する処理を進める。実機ロボットへ送るのは、その探索で選択した動作軌道だけである。
45候補の探索で成功軌道の発見率が73%に
Sakana AIと東京大学の評価では、シミュレーション内の6つの操作作業で、探索候補を1件から45件へ増やすと、成功軌道を見つける平均割合が25%から73%へ上昇した。この数値が示すのは仮想環境で成功軌道を発見する割合であり、実機での作業成功率ではない。SAILの評価は実機ロボットでも実施された。