LLMが単純な事実を答える際にも、回答前に生成する文章が知識の取り出しを助ける。Googleの実験では、意味のない反復文にも効果があり、関連事実だけを抜き出した短いリストでは推論による改善の大部分が得られた。
一度の正答率だけでなく、複数回の生成で想起を測る
Googleは、言語モデルの重みに蓄えられた知識を取り出す能力を、推論の有効・無効を切り替えて比較した。対象は言語モデルのGemini-2.5のFlashとPro、Qwen3-32Bで、外部資料を参照せずに答える質問応答データセットのSimpleQA VerifiedとEntityQuestionsを使った。
評価指標のpass@kは、複数回生成した回答の中に正答が含まれるかを調べる。一度の回答だけでは見逃す、正答を生成できる可能性まで評価するための比較である。
単純な質問でも推論の有効化で正答に届く
この比較でGoogleは、推論を有効にすると、無効時にはほぼ取り出せなかった正答を想起できることを確認した。評価対象は主に単純な一段階の質問であり、複雑な問題を小さな手順へ分解する場面に限った改善ではない。
推論文の何が役立つかを調べるため、Gemini-2.5のFlashでは生成された推論文を意味のない短い文の反復に置き換えた。反復文は元の推論文と同じトークン長にそろえ、その文章を条件として最終回答を生成させた。
意味のない反復文にも効果がある
反復文を与えた条件でも、推論を完全に無効にした条件より正答の想起が改善した。Googleはこの結果を、推論文の意味内容とは別に、追加のトークンが内部処理のための計算の余地を与えるという仮説を支持するものと位置付けている。
ただし、反復文を長くする効果は次第に小さくなり、自然に生成した推論文の性能には届かなかった。計算の余地を増やす効果に加え、生成する文章の内容も想起に寄与することを示す結果となった。
答えを除いた関連事実だけでも改善が残る
文章の内容が持つ効果を切り分ける実験では、推論文から具体的な事実だけを抽出した。埋め草や探索計画に加え、最終的な答えへの明示的な言及も除き、残った事実を短いリストにした。
このリストを条件として与えると、推論による改善の大部分が得られ、推論を無効にした場合にも効果があった。Googleは、質問に関連する事実の生成が正答の想起を促す働きをfactual primingと呼んでいる。