高温超伝導の専門質問を使ったAI評価で、専門家が選定した文献を参照する二つのシステムが総合評価の上位を占めた。2024年後半に利用した6種類のシステムが対象で、NotebookLMが最上位、独自の検索拡張生成システムが次点だった。
専門家が67問で研究上の知識を問う
評価の対象は、銅酸化物の高温超伝導をめぐる専門的な質問に答える能力だ。Googleとコーネル大学は6種類のLLMシステムを比較し、高温超伝導分野の専門家12人が作成した67問を使って回答を評価した。
専門家は、2024年後半に利用した各システムの回答を、システム名を伏せて審査した。採点は0〜2点で行い、どのシステムが回答したかを明かさずに品質を比較した。
総説の引用文献から参照資料を選ぶ
回答の参照先を限定するため、専門家12人は分野を概観する総説論文15本を選んだ。Googleは、その総説が引用する約3300件の文献を抽出し、AIモデルGeminiで実験研究と理論研究に分類した。
この選定を経て、実験論文と総説を含む1726件を共通の参照資料にした。文書に基づく質問応答ツールNotebookLMと、検索した資料を回答生成に使う独自の検索拡張生成(RAG)システムが、この資料群を利用した。
文献を限定した2種類が総合評価で上位
参照先を選定済み文献に限定した2種類に対し、残る4種類はインターネット全体にアクセスできる条件で評価された。比較には、参照範囲の異なるシステムが含まれている。
Googleが公表した専門家評価では、NotebookLMが総合評価の最上位となり、同じ資料群を使った独自RAGシステムが続いた。この順位は、高温超伝導の専門質問に対する回答を対象とした結果である。
根拠の提示と簡潔さで分かれた評価
観点のバランスと回答の網羅性では、NotebookLM、Gemini、独自RAGシステムが上位3種類に入った。インターネットにアクセスする側のGeminiも、この二つの評価項目では上位に位置した。
NotebookLMは根拠の提示で最高評価を得た。一方、簡潔さでは最も低い評価となり、根拠を示す回答の評価と文章の短さに対する評価は一致しなかった。