AI

生徒を模したAIの反応を報酬に、チェス指導AIの専門家評価が向上

この記事のポイント

  1. 実現したこと

    学習者シミュレーターのStudentSimは、本人の回答に加え、指導を受けた後の回答変化を模擬できる。

  2. 実現の仕組み

    複数学習者の記録で共通の応答傾向を学び、そのモデルを一人ずつの記録で追加学習する。

  3. 得られた結果

    Microsoftが公表したチェス評価では、本人の回答の再現と指導への応答の両指標でGPT-5.4とMaia2を上回った。

  4. 従来との違い

    模擬応答を報酬に強化学習したチェス指導AIは、強化学習なしの比較対象より専門家による正確さ、指導の質、個別化の評価が高まった。

明るい机のチェス盤で、指導者が一手を示し、学習者が駒を動かしている。脇に重なる複数の盤面と戻る矢印が、助言後の応答と指導へのフィードバックを表す。
AI生成画像

学習者ごとの間違い方と、助言を受けた後の回答変化をAIで再現し、指導AIの学習へつなげる。研究用システムStudentSimの模擬応答を報酬に使ったチェス指導AIは、概念実証の専門家評価で、強化学習なしの比較対象を上回った。

共通の応答傾向から一人ずつのモデルを作る

Microsoftが公開した研究用の学習者シミュレーターStudentSimは、特定の学習者がどう答え、指導を受けると回答をどう変えるかを模擬する。学習は二段階で進み、まず同じ領域の複数学習者の記録から、共通の回答形式や間違い方、指導後の修正傾向を取り込む。

次に、その学習結果を一人の記録で追加学習し、学習者ごとのモデルを作る。公開実装では、領域ごとに学習したLoRAアダプターという追加学習用のパラメーターを引き継いで個別化するため、個人別の学習を共通学習の続きとして実行する。

本人らしい回答と指導後の変化を分けて測る

個別化したモデルの評価には、評価基盤StudentSimEvalを使う。対象はチェス、第二言語としての英語作文、数学の計60人で、研究利用向けに公開された非識別化済みの学習記録を用いる。

評価は二つに分かれる。「行動再現性」は、学習に使わなかった問題で本人の記録上の回答にどれだけ一致するかを測る。「指導応答性」は、指導を読んだ後に回答を更新する度合いを測り、比較する各手法には同じ学習者別の学習記録と評価記録を使う。

チェスでは二つの指標で比較モデルを上回る

Microsoftが公表したチェスの評価では、StudentSimの行動再現性は0.5150、指導応答性は0.9067だった。比較対象の言語モデルGPT-5.4はそれぞれ0.2316、0.7186で、本人の回答との一致と指導後の応答の両方で差がついた。

人間の指し手を予測するチェス専用モデルMaia2は、行動再現性が0.4535、指導応答性が0.2721だった。StudentSimはこのモデルも両指標で上回り、英語作文と数学を含む全三領域でもGPT-5.4より高い値を示した。

指導後の指し手の改善を強化学習の報酬にする

チェス指導AIの学習では、指導AIが生成した助言を、学習済みの状態で固定した学習者シミュレーターへ渡す。シミュレーターが修正後の指し手を返すと、その指し手の改善度が報酬となり、助言を生成する指導方策を更新する。

公開実装では、学習者役をStudentSimと役割演技を指示したモデルで切り替え、指導方策、初期チェックポイント、学習設定をそろえて比較する。Microsoftが公表した概念実証では、StudentSimを報酬モデルにした指導AIが、強化学習なしの場合とGPT-5.4の模擬応答を報酬にした場合の双方を、専門家による正確さ、指導の質、個別化の評価で上回った。