AI

Geminiに質問ごとに操作画面を生成する新機能

この記事のポイント

  1. 実現したこと

    質問に合わせて、ゲームやシミュレーションなどの操作可能な画面をAIが生成する。

  2. 実現の仕組み

    Gemini 3 Proに画像生成・Web検索ツール、詳細なシステム指示、出力の後処理を組み合わせる。

  3. 得られた結果

    Googleの人による評価では、生成速度を除くと、生成UIは通常のテキストやMarkdown形式の回答より好まれた。

  4. 従来との違い

    生成UIがGeminiアプリとGoogle検索のAI modeに組み込まれ、実験機能として提供が始まった。

明るい机のモニターに、ボールや坂道、ブロックを組み合わせた幾何学シミュレーションが表示されている。脇には風景画の紙、地球儀、組み立て模型が並び、画像生成や検索を活用して質問ごとの操作画面を作る工程を表している。
AI生成画像

AIの回答に、質問ごとに設計してコードを書く操作画面が加わった。Googleは、文章だけでなくゲームやシミュレーションも生成する仕組みを実装し、Geminiアプリと検索への導入を始めた。

質問に合わせて回答の操作画面まで作る

Googleが実装した生成UIは、入力された質問や指示に合わせて、内容と操作画面を一緒に生成する。対象はWebページ、ゲーム、ツールなどで、利用者は生成された画面を操作しながら学習や探索を進めることができる。

Geminiアプリの実験機能dynamic viewは、この仕組みを使って入力ごとの対話型回答を設計する。AIがコードを書く能力を使い、回答を表示する画面自体を組み立てる。

モデルにツールと生成手順を組み合わせる

生成の中核には、AIモデルのGemini 3 Proを使う。サーバーが画像生成やWeb検索のツールへのアクセスを提供し、得られた結果をモデルへ渡すか、利用者のブラウザーへ直接送る構成を取る。

モデルには、目標や計画、生成例に加え、書式やツールの利用方法を含む技術仕様をシステム指示として与える。よくある誤りを避ける指針も含め、生成後の出力は後処理に通して一般的な問題に対処する。

生成速度を除いた評価で通常の回答を上回る

Googleは、人がどの回答を好むかを調べる評価で、専門家が質問に合わせて制作したWebサイト、Google検索の最上位結果、LLMによる通常のテキストとMarkdown形式の出力を比較対象にした。評価では専門家制作のWebサイトが最も好まれ、生成UIがそれに近い評価で続き、残りの比較対象との間には大きな差があったとしている。

この比較は生成速度を評価に含めていない。実装によって結果の生成に1分以上かかる場合があるため、示された優位性は待ち時間を含む利用体験全体の評価とは区別して読む必要がある。

アプリと検索で実験機能の提供が始まる

Googleは、Geminiアプリでdynamic viewと、もう一つの実験機能visual layoutの提供を始めた。利用者には当初、どちらか一方だけが表示される場合がある。

Google検索では、AIによる検索機能AI modeに生成UIを組み込んだ。米国のGoogle AI ProおよびUltra加入者が対象で、モデル選択メニューからThinkingを選んで利用する。