AI

自然文から手で操作できるXRアプリを生成

この記事のポイント

  1. 実現したこと

    自然言語の指示から、物理的な挙動を扱うAndroid XR向けアプリを生成できるようになった。

  2. 実現の仕組み

    Geminiへ空間設計の指針と実際のコード例を与え、シーンや操作の実装を組み立てる。

  3. 得られた結果

    Googleの実演では、タンポポのXR体験を60秒未満で生成し、つまむ操作で綿毛が飛ぶ動作を示した。

  4. 従来との違い

    デスクトップの模擬環境で試した同じデモを、ヘッドセットで身体や手を使って操作できる開発経路が加わった。

明るい空間に描かれたタンポポの綿毛を、右側から伸びた手が親指と人差し指でつまみ、白い種が周囲へ飛んでいくXR体験のイラスト。
AI生成画像

自然言語で作りたい体験を伝えると、空間内の配置や手による操作を含むXRアプリを生成できる。Googleの開発ワークフローVibe Coding XRは、生成AIへ専用の設計指針とコード例を与え、デスクトップでの試作からAndroid XRヘッドセットでの操作までをつなぐ。

指示をシーンと操作の実装へ変換する

Googleが公開した開発ワークフローVibe Coding XRは、生成AIの作業環境Gemini Canvasと、オープンソースのXR開発基盤XR Blocksを組み合わせる。自然言語の指示を、物理的な挙動を扱うAndroid XR向けWebXRアプリへ変換する仕組みだ。

生成AIモデルのGeminiは、開発基盤のサンプルを参照しながら、シーン、知覚処理、操作を構成する。表示する物体だけでなく、利用者が働きかける部分まで含めて対話型アプリを実装する。

空間設計の指針とコード例を入力する

アプリの生成には、XR向けに用意した専用システムプロンプトを使う。Geminiへ空間配置、縮尺、操作距離の指針を与えるとともに、XR Blocks内の依存関係の扱いも指定する。

コンテキストウィンドウには、選別したテンプレートとサンプルのソースコードを含める。生成時に参照する情報として、設計上の指示と実際の実装例を併せて渡す構成になっている。

模擬環境からヘッドセットへ同じデモを移す

生成したアプリの実行を支えるXR Blocksは、WebXR、three.js、LiteRT.jsを基盤とする。中核エンジンが環境知覚、XR操作、AI連携を管理し、空間内で動くアプリに必要な処理を受け持つ。

利用者はデスクトップ版Chromeの模擬環境でアプリを試すことができる。同じデモをAndroid XRヘッドセットへ移すと、身体や手の動きを使った操作を試せる。

綿毛を飛ばし、重りで天びんを釣り合わせる

Googleが紹介した実演では、タンポポを作る単一の指示から60秒未満でAndroid XR体験を生成した。生成したタンポポはアニメーションし、指でつまむ操作に応じて綿毛が飛ぶ。この所要時間は、紹介された生成例の結果である。

物理実験の試作アプリでは、天びんの左右に置く重りを利用者がつかんで移動できる。重りを置いて釣り合いを操作する動作まで、自然言語から生成した体験に組み込んでいる。