複数のAIエージェントが課題を解いた履歴を、一つの共有モデルへ学習させる手法MASSが、自己改善の循環をつないだ。Sakana AIの実験では、270億パラメーターのモデルを2サイクル更新し、四つの研究ベンチマークで出力トークン当たりの得点がベースモデルの1.2〜1.6倍になった。
一つのモデルが協働と実行手順の選別を担う
自己学習手法のMulti-Agent Self-Supervision(MASS)は、一つの共有モデルを仮想的な複数のサブエージェントとして動かし、チームで課題を解く。Sakana AIが開発したこの手法では、共有モデルが課題解決に加え、より良いマルチエージェントの実行手順を探す役割も担う。
探索した実行手順は、モデル自身の判断で選別する。課題を解くモデルと、その進め方を最適化・評価するモデルを共通にすることで、同じモデルが解決策の生成から選別までを受け持つ。
選んだチームの実行履歴を学習へ戻す
選別後は、最良と判断したチームの実行履歴を共有モデルの学習に使う。協働の過程で得た経験をモデルへ取り込むことで、実行手順を選んで終える処理から、その経験でモデル自体を更新する循環へつなぐ。
Sakana AIは、この再帰的な自己改善において、複数エージェントの実行履歴が単一エージェントの履歴より効率の良い学習データになったと報告した。学習に戻すデータの比較でも、協働による履歴の有効性を確認したとしている。
2サイクル後の得点を出力トークン数で比較
学習と課題解決の循環は、重みが公開された270億パラメーターのモデルで2サイクル実行した。実験には、合成した自由度の高い研究課題を用いた。
Sakana AIの測定では、2サイクル目の終了後、四つの研究ベンチマークで出力トークン当たりの得点がベースモデルの1.2〜1.6倍になった。この倍率が表すのは、生成した出力のトークン数に対する得点であり、処理速度や総計算量の改善率ではない。
課題解決の学習が最適化役と評価役にも及ぶ
Sakana AIは、課題解決役のデータだけを学習したにもかかわらず、共有モデルの最適化役と評価役の能力も向上したと報告した。学習で直接扱った課題解決の役割を越えて、実行手順を探し、評価する役割にも改善が及んだ。
役割ごとの能力は、改善を繰り返す速度にも関わる。Sakana AIは、その速度を制約する要因が、評価役の能力ではなく、実行手順を探索する最適化役の能力になる場合があるとしている。