AI

Googleの音声対話AIに発話と口の動きが同期するアバター

この記事のポイント

  1. 実現したこと

    企業向け対話AIが、見聞きした内容にほぼリアルタイムの音声とアバター映像で応答する。

  2. 実現の仕組み

    非同期のツール呼び出しにより、データ取得をバックグラウンドで進めながら対話を続ける。

  3. 得られた結果

    Googleによると、97言語の切り替えに口の動きと表情が追従し、映像品質を保つ。

  4. 従来との違い

    既存のライブ対話モデルに低遅延の映像生成が加わり、声に加えて口の動きや表情も出力する構成になった。

明るい机で話しながらカップを見せる人と、ノートパソコン画面で口を開けて応答するアバター。画面脇の音声波形が発話との同期を表している。
AI生成画像

音声対話AIに、発話と口の動きが同期するアバター映像が加わった。Googleの「Gemini 3.8 Live with Live Avatar」は、ライブ対話に低遅延の映像生成を組み合わせ、視覚と音声の入力に応答する。企業向けサービスで提供が始まっている。

見聞きした入力を音声とアバター映像へつなぐ

Googleは、音声対話モデル「Gemini 3.8 Live」に低遅延の映像生成を組み合わせ、アバター応答機能「Live Avatar」を導入した。ライブ対話の出力に映像を加え、発話に合わせて口の動きや表情を生成する構成だ。

Googleによると、この機能は視覚と音声の入力を同時に処理し、ほぼリアルタイムで音声と映像を返す。利用者が見せたものや話した内容を受け取り、声とアバターの表現を伴う会話を続けることができる。

情報取得を待つ間も対話を続ける

会話に外部の情報が必要な場合、Live Avatarは非同期でツールを呼び出す。データ取得をバックグラウンドで進めることで、処理の完了を待つ間も対話を続ける機能を備える。

97言語の切り替えに口の動きと表情が追従する

Googleによると、Live Avatarは会話の途中で97言語を切り替えることができる。言語が変わると口の動きと表情も適応し、映像品質や映像の安定性を損なわずに応答を続けるとしている。

参照画像から企業独自のアバターを作る

表示するアバターには、外見、声、表現が異なる設定済みの選択肢がある。Googleによると、高品質な参照画像から、元の外見やブランドの様式、キャラクターの同一性を保った応答型アバターを生成することもできる。

生成する音声と映像には、電子透かし技術「SynthID」による知覚できない信号を埋め込み、AI生成コンテンツの検出に対応する。Live Avatarは企業向けサービス「Gemini Enterprise」で提供され、カスタムアバターの作成は許可リストに登録された企業に限定されている。