AI

AIの協働履歴を自己学習し、出力トークン当たりの得点を改善

この記事のポイント

  1. 実現したこと

    自己学習手法MASSでは、一つの共有モデルが複数エージェントによる課題解決と実行手順の探索・選別を担う。

  2. 実現の仕組み

    自己評価で選んだ最良のチームの実行履歴を学習し、協働で得た経験を共有モデルへ取り込む。

  3. 得られた結果

    Sakana AIの実験では、2サイクル後に四つの研究ベンチマークで出力トークン当たりの得点がベースモデルの1.2〜1.6倍になった。

  4. 従来との違い

    課題解決役のデータだけを学習した共有モデルで、最適化役と評価役の能力も向上した。

明るい作業台で同じ意匠の小さなエージェントたちが図形パズルに協働し、複数の実行履歴の紙から選ばれた一束が、共有モデルを表す積層した図形へ戻る様子。
AI生成画像

複数のAIエージェントが課題を解いた履歴を、一つの共有モデルへ学習させる手法MASSが、自己改善の循環をつないだ。Sakana AIの実験では、270億パラメーターのモデルを2サイクル更新し、四つの研究ベンチマークで出力トークン当たりの得点がベースモデルの1.2〜1.6倍になった。

一つのモデルが協働と実行手順の選別を担う

自己学習手法のMulti-Agent Self-Supervision(MASS)は、一つの共有モデルを仮想的な複数のサブエージェントとして動かし、チームで課題を解く。Sakana AIが開発したこの手法では、共有モデルが課題解決に加え、より良いマルチエージェントの実行手順を探す役割も担う。

探索した実行手順は、モデル自身の判断で選別する。課題を解くモデルと、その進め方を最適化・評価するモデルを共通にすることで、同じモデルが解決策の生成から選別までを受け持つ。

選んだチームの実行履歴を学習へ戻す

選別後は、最良と判断したチームの実行履歴を共有モデルの学習に使う。協働の過程で得た経験をモデルへ取り込むことで、実行手順を選んで終える処理から、その経験でモデル自体を更新する循環へつなぐ。

Sakana AIは、この再帰的な自己改善において、複数エージェントの実行履歴が単一エージェントの履歴より効率の良い学習データになったと報告した。学習に戻すデータの比較でも、協働による履歴の有効性を確認したとしている。

2サイクル後の得点を出力トークン数で比較

学習と課題解決の循環は、重みが公開された270億パラメーターのモデルで2サイクル実行した。実験には、合成した自由度の高い研究課題を用いた。

Sakana AIの測定では、2サイクル目の終了後、四つの研究ベンチマークで出力トークン当たりの得点がベースモデルの1.2〜1.6倍になった。この倍率が表すのは、生成した出力のトークン数に対する得点であり、処理速度や総計算量の改善率ではない。

課題解決の学習が最適化役と評価役にも及ぶ

Sakana AIは、課題解決役のデータだけを学習したにもかかわらず、共有モデルの最適化役と評価役の能力も向上したと報告した。学習で直接扱った課題解決の役割を越えて、実行手順を探し、評価する役割にも改善が及んだ。

役割ごとの能力は、改善を繰り返す速度にも関わる。Sakana AIは、その速度を制約する要因が、評価役の能力ではなく、実行手順を探索する最適化役の能力になる場合があるとしている。