AI

Chromeでページの一部を指してGeminiに質問可能に

この記事のポイント

  1. 実現したこと

    Chromeでウェブページの一部をポインターで指定し、Geminiに質問できるようになった。

  2. 実現の仕組み

    実験システムでは、ポインター周辺の視覚的・意味的な文脈から、単語や画像の一部などの対象を識別する。

  3. 得られた結果

    Google AI Studioでは、指し示す動作と発話で画像編集や地図上の場所探しを試せる。

  4. 従来との違い

    ChromeのGeminiに、ページ上の複数の商品を選択して比較を求める操作が加わった。

明るい机の上のノートパソコンに、商品画像が並ぶページが表示され、カーソルで選ばれたボトルとバッグが青い枠で示されている。
AI生成画像

ウェブページのどの部分について尋ねたいかを、ポインターでGeminiに伝えられるようになった。Chromeへの導入に加え、指し示した対象の文脈と音声を組み合わせるAI対応ポインターの実験的デモも公開された。

ページ内の選択範囲を質問対象にする

Google DeepMindによると、Chromeでは5月12日から、ポインターを使ってページの一部についてAIモデルのGeminiに質問できるようになった。質問したい対象を画面上で指定する操作が、AIへ文脈を伝える入力になる。

具体的な利用例は、ページ上の複数の商品を選択して比較を求める操作だ。比較したい商品を選んでから質問することで、ユーザーが関心を持つ範囲を指定できる。

指した位置から単語や画像の一部を識別する

この対話方式の開発では、Geminiを利用するAI対応ポインターの実験システムを使っている。Google DeepMindは、ポインター周辺の視覚的・意味的な文脈を捉えることで、指された単語、段落、画像の一部、コードブロックを識別すると説明している。

その対象指定に音声を組み合わせるのが、開発の対話原則の一つだ。「これを直して」「それをここへ移して」といった短い発話で省略された対象や移動先を、指し示す動作と共有された文脈で補うことを目指す。

画面の内容を操作できる情報へ変換する

Google DeepMindが掲げるもう一つの原則は、画面のピクセルを場所、日付、物体などの構造化された情報へ変換することだ。指した位置の内容をこうした対象として扱い、次の操作へ結び付ける考え方である。

この方式を試す入口として、AI開発環境のGoogle AI Studioには画像編集と地図上の場所探しが用意されている。Google DeepMindは、いずれも指し示す動作と発話で試せるとしており、実験的な対話方式をユーザーが操作できる形で公開している。

Googlebookにもポインター機能を展開へ

製品への組み込みは、提供を始めたChromeに加え、ノートパソコンのGooglebookでも進める。Google DeepMindは、Googlebook向けにGeminiを利用するポインター機能Magic Pointerを近く展開する予定としている。