コード生成AIが課題を直接解くか、別モデルのレビューを挟むか、より強力なモデルへ引き継ぐかを実行時に選ぶ。GitHubのHydraFusionは、この制御をGitHub Copilot CLIの研究プレビューとして提供する。モデル選択から、その組み合わせ方の選択へ処理範囲を広げた。
課題の能力指標から三つの実行手順を選ぶ
GitHubが開発したコード生成支援システムHydraFusionは、推論、コード生成、デバッグ、ツール利用の能力に関する指標を使い、依頼ごとの実行手順を選ぶ。既存のAuto model selectionが課題に適したモデルを選ぶのに対し、このシステムは複数提供元のモデルを使う処理の流れまで組み立てる。
実行手順のSingleでは、一つのモデルが課題を直接解く。cascadeでは、まず効率のよいモデルが解案を作り、その品質判定を通過しなければ、より強力なモデルへ処理を引き上げる。critiqueでは、別系統のモデルが読み取り専用で案をレビューし、その指摘を受けて生成元のモデルが一度修正する。
レビューを作業領域から隔離し、変更の適用を制御する
レビューを担当するモデルは、隔離されたツールなしのコンテキストで動く。コードを解く処理は共有ワークスペースと権限を考慮した通常のエージェント実行ループを使うため、レビュー側はリポジトリを変更せずに案を評価する構成になっている。
各処理段階にはタイムアウトとキャンセル時の動作を設定する。実行がキャンセルされた場合や検証に失敗した場合にはパッチを適用せず、途中の変更がリポジトリへ届くのを防ぐ。
追加のモデル呼び出しを含めて費用と正答率を比較
GitHubは、課題入力、ツール、実行制限、価格の仮定、採点条件、結果が欠けた場合の扱いをそろえ、全モデルの推論レベルをmediumに設定してオフライン評価を実施した。推定費用には最初の生成だけでなく、レビュー、修正、上位モデルへの切替、再試行、代替処理の全呼び出しを含めた。
最も調整された構成は、コード実行環境での評価であるTerminalBench 2.1で、比較対象のClaude Opus 5より正答確認済み課題の割合を4.9ポイント高め、推定費用を67%減らした。一方、ソフトウェア修正課題のDeepSWEでは正答確認率が1.5ポイント低く、推定費用は36%低かった。GitHub内部のCheckpointBenchでは正答確認率が0.1ポイント低く、推定費用は65%低かった。これらは評価した構成と条件での結果であり、全課題で正答率が上回ったわけではない。
全Copilotプランへ実験機能として提供
この実行制御は、全GitHub Copilotプランの利用者がコマンドライン版のGitHub Copilot CLIで試せる。提供段階は研究プレビューで、実験機能として有効にして利用する。
利用料金は、処理に参加した各モデルが消費したトークンに、それぞれの標準料金を適用して算出する。したがって、評価で示した推定費用の削減率は、利用者向けの一律の料金割引率を意味しない。