ウェブページのどの部分について尋ねたいかを、ポインターでGeminiに伝えられるようになった。Chromeへの導入に加え、指し示した対象の文脈と音声を組み合わせるAI対応ポインターの実験的デモも公開された。
ページ内の選択範囲を質問対象にする
Google DeepMindによると、Chromeでは5月12日から、ポインターを使ってページの一部についてAIモデルのGeminiに質問できるようになった。質問したい対象を画面上で指定する操作が、AIへ文脈を伝える入力になる。
具体的な利用例は、ページ上の複数の商品を選択して比較を求める操作だ。比較したい商品を選んでから質問することで、ユーザーが関心を持つ範囲を指定できる。
指した位置から単語や画像の一部を識別する
この対話方式の開発では、Geminiを利用するAI対応ポインターの実験システムを使っている。Google DeepMindは、ポインター周辺の視覚的・意味的な文脈を捉えることで、指された単語、段落、画像の一部、コードブロックを識別すると説明している。
その対象指定に音声を組み合わせるのが、開発の対話原則の一つだ。「これを直して」「それをここへ移して」といった短い発話で省略された対象や移動先を、指し示す動作と共有された文脈で補うことを目指す。
画面の内容を操作できる情報へ変換する
Google DeepMindが掲げるもう一つの原則は、画面のピクセルを場所、日付、物体などの構造化された情報へ変換することだ。指した位置の内容をこうした対象として扱い、次の操作へ結び付ける考え方である。
この方式を試す入口として、AI開発環境のGoogle AI Studioには画像編集と地図上の場所探しが用意されている。Google DeepMindは、いずれも指し示す動作と発話で試せるとしており、実験的な対話方式をユーザーが操作できる形で公開している。
Googlebookにもポインター機能を展開へ
製品への組み込みは、提供を始めたChromeに加え、ノートパソコンのGooglebookでも進める。Google DeepMindは、Googlebook向けにGeminiを利用するポインター機能Magic Pointerを近く展開する予定としている。