視覚、触覚、固有感覚から全身の駆動指令を生成し、歩行と物体操作を連続させるヒューマノイド制御が実演された。三層のニューラル制御系が意味レベルの目標を身体動作へ変換し、4分間の自律作業を完了した。
上半身の方策を全身の感覚―動作経路へ拡張
Figure AIのヒューマノイド向け制御モデルHelix 02は、従来のHelixで上半身を担当していたSystem 1を、機体上の全センサーから全身の関節目標までを扱う方策へ拡張した。出力対象には腕や手だけでなく、脚、胴体、頭部、手首、個々の指も含まれる。
Figure AIは、この変更によって、視覚、触覚、固有感覚に基づく歩行、物体操作、バランス調整を一続きの全身動作として制御すると説明している。物体を持って歩くときも、移動と把持を別々の制御へ切り分けず、全身を連動させる構成である。
意味レベルの目標を三つの制御層が受け渡す
Helix 02は、System 2、System 1、System 0を異なる周期で動かす。System 2が意味レベルの目標を扱い、System 1が全身の関節目標を200Hzで生成した後、System 0がバランス、接触、全身協調を1kHzで処理する。
System 2は場面と言語を処理し、潜在目標をSystem 1へ渡す。低水準の足運びや腕と脚の協調までは指定せず、後段のSystem 1とSystem 0が目標を連続した身体動作へ変換する。
200Hzの関節目標を1kHzの駆動指令へ変換
System 1には、頭部カメラ、手のひらカメラ、指先の触覚センサー、全身の固有感覚が入る。これらの観測から、脚、胴体、頭部、腕、手首、個々の指を含む全身の関節目標を生成する。
関節目標を受け取るSystem 0は、1000万パラメーターのニューラルネットワークである。全身の関節状態と機体基部の運動を入力し、関節単位のアクチュエーター指令を1kHzで出力することで、上位層の目標に追従しながらバランスと接触を処理する。
人間動作の学習と手元のセンサーが全身協調を支える
Figure AIによると、System 0には、関節単位へ変換した1000時間超の人間動作データを用いた。訓練はドメインランダム化を施した20万超の並列環境において、シミュレーションだけで実施されたという。
ヒューマノイドロボットFigure 03に組み込まれた手のひらカメラは、把持中に頭部カメラから隠れる手元を映す。各指先の触覚センサーは3グラム相当の小さな力を検出し、この視覚と接触の情報がSystem 1による全身の関節目標の生成に使われる。
4分間の食器作業と細かな物体操作を実演
Figure AIによると、Helix 02は、人の介入や遠隔操作なしに実物大のキッチンで4分間の連続作業を完了した。ロボットは食器洗い機まで歩いて食器を取り出し、室内を移動して収納した後、食器を再び食器洗い機へ入れて運転を開始した。
細かな操作では、錠剤を一つずつ取り出し、注射器で正確な量を分注したとしている。さらに、手や周囲の物で対象が隠れる状況でも、混在した小型の不規則物体を一つずつ分離した。