Robotics

言語モデルのロボット操作、学習済み制御器の併用で成績向上

この記事のポイント

  1. 実現したこと

    言語モデルは、学習済み方策と知覚ツールを使って単純な環境の経路探索課題を完了した。

  2. 実現の仕組み

    学習済みのニューラルネットワークが、言語モデルの高水準指令を協調した関節運動へ変換する。

  3. 得られた結果

    物体操作は学習済み方策の併用で直接制御を大幅に上回ったが、方策単独の成績には届かなかった。

  4. 従来との違い

    低水準の物体操作でも、新しいモデルほど対象への到達、接触、把持が改善した。

明るい作業台で、左側のカメラが小さなブロックを見下ろし、右側の多関節ロボットアームがグリッパーをブロックへ伸ばしている編集イラスト。
AI生成画像

言語モデルによるロボット操作は、関節などを直接制御するより、学習済み制御器に運動を任せる構成で成績が高まった。Anthropicの評価では、単純な経路探索や物体操作の課題を完了し、新しいモデルほど制御器の失敗を見分ける能力も改善した。

同じ課題でも制御の任せ方が成績を左右する

Anthropicは、複数の言語モデルを古典的な制御課題、移動・経路探索、物体操作の3領域で評価した。操作の渡し方は、低水準の指令を直接出す方式、制御コードを書く方式、強化学習で方策を訓練する方式、学習済み方策へ高水準の指令を出す方式に分けた。

直接制御では、モデルの応答を待つ間にシミュレーターを停止し、推論の遅さが成績を支配しない条件を設けた。その条件でも、人型ロボットで有効な制御を行うには、低水準の運動を学習済み方策に任せる高水準インターフェースが必要だった。

関節運動を方策に任せて経路探索を実行

学習済みの制御方策は、言語モデルとは別のニューラルネットワークで、高水準の指令を協調した関節運動へ変換する。言語モデルが各関節への指令を直接組み立てる構成に対し、この構成では運動の実行部分を方策が担う。

Anthropicの評価では、学習済み方策と知覚ツールを使った言語モデルが、単純な環境で経路探索課題を完了した。移動を成立させる低水準の制御と、環境を把握して指令を出す処理を組み合わせた結果である。

直接の物体操作は把持が改善しても完了率は低い

低水準の物体操作では、新しいモデルほど対象に近づき、接触し、把持する動作が改善した。Anthropicの評価は、課題全体の成否だけでなく、物体へ働きかける途中段階にも世代間の進歩があることを示した。

一方、課題全体を完了した割合は、評価対象モデルで0〜5.5%にとどまった。対象へ到達してつかむ動作の改善は、まだ一連の作業を高い確率で完了する能力には結び付いていない。

画像から動作を作る方策を言語モデルが監督

物体操作を支えるVision-language-action(VLA)型の学習済み方策は、カメラ画像と指示をロボットアームの動作へ変換する。Anthropicの評価では、この方策を使う構成が言語モデルによる直接制御を大幅に上回った。ただし、言語モデルが監督する構成の成績は、VLA単独で動かす場合より低かった。

新しいモデルほど、方策が提案する動作の失敗を見分ける能力は改善した。VLA単独では実行できない課題では、最も能力の高いモデルの監督によって成績が向上した。