AIモデルの重みと外部評価の試験問題を、互いの所有者に開示せずに評価する試行が始まった。Google DeepMindは、保護された実行環境を使って双方の秘匿を暗号学的に検証し、評価問題の事前流出によるスコアの水増しを防ぐことを狙う。
試験問題を事前に見せずにモデルを評価する
Google DeepMindは、非公開AIモデルを対象に、モデルと評価問題を相互に秘匿する二重盲検評価の試行を開始した。AIモデルが評価問題を事前に見ていると、その知識によってスコアが実力以上に高くなるおそれがある。今回の方式は、評価問題をモデル提供者に見せずに外部評価を行うことで、この問題を防ぐことを狙う。
問題か重みを渡す従来の選択を変える
従来の外部評価では、評価者が試験問題をモデル提供者へ渡すか、提供者がモデルの重みを評価者へ渡すかという選択があった。前者には問題の事前閲覧、後者にはモデルの知的財産の開示というリスクが伴う。Google DeepMindは、評価プロンプトの機密保持に用いてきたログを記録しない運用と契約上の保護策に、今回、技術的・暗号学的な保護を加えた。
暗号学的な検証で双方の秘匿を確かめる
その保護を担うのが、Google CloudのConfidential Computing製品群に属する実行環境Confidential Spaceだ。評価データと非公開モデルをこの環境で扱い、それぞれの秘匿を暗号学的に検証する。Google DeepMindによると、この方式では外部評価者はGeminiのモデルの重みを見ることができず、Googleも評価者の試験プロンプトを見ることができない。
Gemini Flash Liteを機密ベンチマークで試す
試行の対象は、AIモデルのGemini Flash Liteで、機密のベンチマークを使って評価する。Google DeepMindは、シンガポールのAI安全性研究機関Singapore AI Safety Instituteに加え、協力組織のOpenMined、AVERI、MLCommonsと、このプライバシー保護環境での試行を進める。