言語モデルの事実精度を、内部知識、検索、画像、与えられた文書の4面で測る評価群が公開された。FACTS Benchmark Suiteは、文書への根拠付けを測る従来の評価を拡張し、情報を得る条件ごとに回答の正確さを調べる。
文書だけを根拠にする評価から対象を広げる
Google DeepMindが公開した評価群FACTS Benchmark Suiteは、従来の文書への根拠付け評価をGrounding v2へ更新し、内部知識・検索・画像を対象とする3種類の評価を追加した。評価用の公開データは、4種類を合わせて3,513例となる。
従来の評価指標FACTS Groundingは、与えられた文書だけを根拠に、ユーザーの要求を満たす長文回答を生成する能力を測っていた。今回の拡張では、その文書に基づく回答に加え、モデルが内部に持つ知識や、検索・画像から得る情報を使う回答も評価対象になった。
内部知識と検索を使う回答を分けて測る
内部知識を測るParametric Benchmarkは、検索などの外部ツールを使わずに、事実に関する質問へ正確に答える能力を評価する。回答に利用できる情報をモデル内部の知識に限定する条件だ。
検索を測るSearch Benchmarkは、複数の事実を順次取得する必要がある質問を含む。全モデルに同じ検索ツールを提供し、独自の検索設定による差を避けながら、検索で情報を取得して回答する能力を比べる。
画像の解釈を知識につなぎ、回答の充足度も判定する
画像を対象とするMultimodal Benchmarkは、画像の解釈とモデル内部の知識を組み合わせて答える能力を測る。入力画像に関する質問に対し、事実に即した文章を生成することが求められる。
この評価では、回答が正しいことに加え、必要な情報をすべて含むことも判定する。画像への回答は、正確さと情報の充足度の両方で評価される。
公開・非公開セットを合わせた総合正解率は首位68.8%
総合指標のFACTS Scoreは、4種類の評価における公開セットと非公開セットの正解率を平均して算出する。評価群の管理はデータ分析プラットフォームのKaggleが担い、非公開セットの保有、主要モデルの評価、公開ランキングの提供を行う。
Google DeepMindが公表した15モデルの評価では、言語モデルGemini 3 ProがFACTS Score 68.8%で首位だった。評価対象の全モデルで、総合正解率は70%未満となった。