AI

言い直しも反映する音声認識AI「Gemini 3.5 Transcribe」

この記事のポイント

  1. 実現したこと

    音声認識モデルGemini 3.5 Transcribeを、ライブ音声と録音音声それぞれに対応するAPIで利用できる。

  2. 実現の仕組み

    発話中の言い直しを反映し、「えー」などのつなぎ言葉を除いて、音声から整えた文章を直接生成する。

  3. 得られた結果

    Googleが紹介したArtificial Analysisの測定では、平均単語誤り率はストリーミングで4.0%、非ストリーミングで2.6%だった。

  4. 従来との違い

    アプリ内で使われていた音声認識モデルが、開発者向けAPIの公開プレビューでも利用可能になった。

机上のマイクから青と橙の音声波形が二つの経路に分かれる編集イラスト。上側は波形の言い直しが折り返されて整った線になり、下側は話者を示す3つの印と単語ごとの時刻目盛りを伴って文章の線へ変わる。
AI生成画像

言い直しやつなぎ言葉を処理し、音声を整えた文章へ直接変換するGemini 3.5 Transcribeが、開発者向けAPIの公開プレビューに加わった。ライブ音声の連続処理と、話者情報や単語単位の時刻を付ける録音処理を、別々のAPIで提供する。

言い直しを反映し、指定語彙に合わせて文章化

Googleによると、音声認識モデルGemini 3.5 Transcribeは、話した内容を整形した文章へ直接変換する。「火曜日、いや水曜日」といった発話では訂正を反映し、「えー」などのつなぎ言葉を取り除く。

認識する語句には、利用者が指定したカスタム語彙を反映することができる。専門用語や固有のつづりを与えることで、文字起こしをその語彙に合わせる。

ライブ音声と録音でAPIを分ける

ライブ音声には、Live APIのgemini-3.5-transcribe-liveを使う。Googleは、継続的な双方向ストリーミングを1秒未満の遅延で提供するとしている。

録音音声には、Interactions APIのgemini-3.5-transcribeを使い、認識した文章に話者情報と単語単位のタイムスタンプを付ける。話者識別は最大3人に対応し、それを超える人数への対応は実験段階にある。

認識誤りと文字起こしの確定時間を評価

Googleが紹介した評価機関Artificial Analysisの測定では、平均単語誤り率(WER)はストリーミングで4.0%、非ストリーミングで2.6%だった。単語単位の認識誤りを表すこの指標について、ライブ処理と録音処理を分けた値が示されている。

同じ評価機関による従来モデルChirp 3との比較では、最終的な文字起こしが確定するまでの時間が70%短縮した。この比較の対象は文字起こしの確定時間であり、Live APIの1秒未満という遅延の仕様とは別の指標である。

アプリでの利用から開発者向け公開プレビューへ

利用先には、英語に対応するmacOS向けGeminiアプリと、一部の国と言語で提供するAndroidの音声入力機能Ramblerがある。今回、開発者向けのGemini APIと企業向けのGemini Enterprise Agent Platformでも、公開プレビューとして利用できるようになった。

Googleによると、macOS向けアプリでは、認識した音声を関数呼び出しにつなげることもできる。画像生成やファイル分析などの処理は別のGeminiモデルへ委ね、音声による指示から実行する。