AI

超伝導の専門質問で、参照文献を絞ったAIが上位に

この記事のポイント

  1. 実現したこと

    6種類のLLMシステムが、銅酸化物の高温超伝導に関する専門質問への回答を試された。

  2. 実現の仕組み

    専門家が選んだ総説の引用文献を分類し、実験論文と総説1726件を二つのシステムの共通資料にした。

  3. 得られた結果

    専門家による総合評価では、NotebookLMが最上位となり、独自の検索拡張生成システムが続いた。

  4. 従来との違い

    比較する参照範囲を、4種類ではインターネット全体、2種類では選定済み文献だけに設定した。

明るい研究図書室の机に、専門家が選んだ論文の束と、それを分けて置いた二つの資料トレーが並び、奥には広く資料を探す条件を思わせる本や紙が広がっている。
AI生成画像

高温超伝導の専門質問を使ったAI評価で、専門家が選定した文献を参照する二つのシステムが総合評価の上位を占めた。2024年後半に利用した6種類のシステムが対象で、NotebookLMが最上位、独自の検索拡張生成システムが次点だった。

専門家が67問で研究上の知識を問う

評価の対象は、銅酸化物の高温超伝導をめぐる専門的な質問に答える能力だ。Googleとコーネル大学は6種類のLLMシステムを比較し、高温超伝導分野の専門家12人が作成した67問を使って回答を評価した。

専門家は、2024年後半に利用した各システムの回答を、システム名を伏せて審査した。採点は0〜2点で行い、どのシステムが回答したかを明かさずに品質を比較した。

総説の引用文献から参照資料を選ぶ

回答の参照先を限定するため、専門家12人は分野を概観する総説論文15本を選んだ。Googleは、その総説が引用する約3300件の文献を抽出し、AIモデルGeminiで実験研究と理論研究に分類した。

この選定を経て、実験論文と総説を含む1726件を共通の参照資料にした。文書に基づく質問応答ツールNotebookLMと、検索した資料を回答生成に使う独自の検索拡張生成(RAG)システムが、この資料群を利用した。

文献を限定した2種類が総合評価で上位

参照先を選定済み文献に限定した2種類に対し、残る4種類はインターネット全体にアクセスできる条件で評価された。比較には、参照範囲の異なるシステムが含まれている。

Googleが公表した専門家評価では、NotebookLMが総合評価の最上位となり、同じ資料群を使った独自RAGシステムが続いた。この順位は、高温超伝導の専門質問に対する回答を対象とした結果である。

根拠の提示と簡潔さで分かれた評価

観点のバランスと回答の網羅性では、NotebookLM、Gemini、独自RAGシステムが上位3種類に入った。インターネットにアクセスする側のGeminiも、この二つの評価項目では上位に位置した。

NotebookLMは根拠の提示で最高評価を得た。一方、簡潔さでは最も低い評価となり、根拠を示す回答の評価と文章の短さに対する評価は一致しなかった。