言い直しやつなぎ言葉を処理し、音声を整えた文章へ直接変換するGemini 3.5 Transcribeが、開発者向けAPIの公開プレビューに加わった。ライブ音声の連続処理と、話者情報や単語単位の時刻を付ける録音処理を、別々のAPIで提供する。
言い直しを反映し、指定語彙に合わせて文章化
Googleによると、音声認識モデルGemini 3.5 Transcribeは、話した内容を整形した文章へ直接変換する。「火曜日、いや水曜日」といった発話では訂正を反映し、「えー」などのつなぎ言葉を取り除く。
認識する語句には、利用者が指定したカスタム語彙を反映することができる。専門用語や固有のつづりを与えることで、文字起こしをその語彙に合わせる。
ライブ音声と録音でAPIを分ける
ライブ音声には、Live APIのgemini-3.5-transcribe-liveを使う。Googleは、継続的な双方向ストリーミングを1秒未満の遅延で提供するとしている。
録音音声には、Interactions APIのgemini-3.5-transcribeを使い、認識した文章に話者情報と単語単位のタイムスタンプを付ける。話者識別は最大3人に対応し、それを超える人数への対応は実験段階にある。
認識誤りと文字起こしの確定時間を評価
Googleが紹介した評価機関Artificial Analysisの測定では、平均単語誤り率(WER)はストリーミングで4.0%、非ストリーミングで2.6%だった。単語単位の認識誤りを表すこの指標について、ライブ処理と録音処理を分けた値が示されている。
同じ評価機関による従来モデルChirp 3との比較では、最終的な文字起こしが確定するまでの時間が70%短縮した。この比較の対象は文字起こしの確定時間であり、Live APIの1秒未満という遅延の仕様とは別の指標である。
アプリでの利用から開発者向け公開プレビューへ
利用先には、英語に対応するmacOS向けGeminiアプリと、一部の国と言語で提供するAndroidの音声入力機能Ramblerがある。今回、開発者向けのGemini APIと企業向けのGemini Enterprise Agent Platformでも、公開プレビューとして利用できるようになった。
Googleによると、macOS向けアプリでは、認識した音声を関数呼び出しにつなげることもできる。画像生成やファイル分析などの処理は別のGeminiモデルへ委ね、音声による指示から実行する。