AI

音声認識AIの比較基盤に非公開データでの評価を追加

この記事のポイント

  1. 実現したこと

    音声認識モデルを、非公開の英語音声で朗読・会話やアクセントの区分ごとに比較できるようになった。

  2. 実現の仕組み

    評価データと個々の分割セットのスコアを非公開にし、特定のテスト条件への最適化を抑える。

  3. 得られた結果

    非公開データの総合スコアは提供元ごとの平均を単純平均し、提供元を等しく重み付けする。

  4. 従来との違い

    公開データだけを使う既定の総合評価を維持しつつ、非公開データも任意に集計へ加えられる構成になった。

朗読・会話やアクセント別の音声波形が、非公開の評価を経て4つの集計群に分かれ、任意の経路で公開データの順位表に加わる流れを描いたイラスト。
AI生成画像

音声認識モデルの比較基盤Open ASR Leaderboardに、非公開の英語音声を使う評価が加わった。朗読と会話、米国と米国以外のアクセントを分けて成績を表示する。総合評価への組み入れは任意とし、公開データだけで計算する既定の順位を維持する。

非公開の朗読・会話データを評価へ組み込む

Hugging Faceが公開した更新では、音声データ提供企業のAppenとDataoceanAIによる英語音声が、Open ASR Leaderboardの評価セットに加わった。複数のアクセントを含み、原稿を読み上げる朗読と、自発的な会話を対象にする。

運営側は、公開テストへの特化や、テストデータが学習に混入するリスクを抑えるため、追加データを非公開に保つ。評価用音声を公開して利用者自身に採点してもらう方式とは、データへのアクセス条件が異なる。

条件別の平均を表示し、個別スコアは伏せる

非公開データの成績は「private data」タブで確認できる。朗読、会話、米国アクセント、米国以外のアクセントの各区分について、該当するデータセットの成績を単純平均して表示する。

この集計に使う個々の分割セットのスコアは表示しない。運営側は、発話形式やアクセントの区分で成績を比較できるようにしながら、特定の提供元やアクセントへの最適化を避ける構成としている。

提供元を等しく重み付けし、総合順位への反映を選べる

非公開データの総合指標「average WER」は、単語誤り率を提供元ごとに平均し、その平均値をさらに単純平均して求める。これにより、提供元ごとの重みを等しくする。

ランキング全体のaverage WERは、既定では引き続き公開データだけで計算する。利用者が非公開データを有効にすると集計対象へ加わり、「Rank Δ」欄で既定の設定から順位がどう変化したかを確認できる。

運営側が非公開データでモデルを評価する

非公開データで評価を受けるには、モデルをランキングへ追加する申請を行う。申請者はGitHubでプルリクエストを作成し、従来どおり公開データでの評価結果を報告する。

運営側は公開データの結果を確認したうえで、非公開データの指標を計算する。得られた結果を申請者が確認する手順により、評価データを公開せずにモデルの成績をランキングへ登録する。