開発支援AIのGitHub Copilot CLIが、作業を別のAIへ任せる判断を見直した。単純な変更は主エージェントで進め、独立した調査などを選んで委譲する。GitHubの本番A/Bテストでは、セッション当たりのツール失敗が23%減り、待ち時間も短くなった。
単純な探索と編集を主エージェントに残す
GitHubは、AIが作業を進める実行履歴をLLMで分析し、範囲が狭く、引き継ぎ情報だけで処理できる作業にも、補助役のサブエージェントを呼び出していた傾向を特定した。主エージェントが十分な情報を持っていても、委譲先がリポジトリを再探索する場合があり、余分な引き継ぎや待ち時間が生じていた。
更新された制御方針では、対象ファイルを探し、読み、必要な変更を加えて検証するような作業を主エージェントが直接進める。別の文脈を必要とする調査や広範な探索、並列に進められる作業を委譲の対象にし、作業が再び絞られれば直接処理へ戻す。
委譲先の担当を定め、主エージェントも作業を続ける
委譲する場合は、ユーザーが求めた内容、すでに分かっている情報、サブエージェントの担当範囲、返してほしい結果を具体的に引き継ぐ。この引き継ぎによって、委譲先が何を調べ、どの形で結果を戻すかを明確にする。
更新された方針は、サブエージェントを起動した後も、主エージェントが独立した作業を続けるようにする。結果が戻るまで全体を止める進め方を避け、委譲を並列実行へつなげる。
本番比較で検索・編集ツールの失敗が減少
GitHubは、自動生成した回帰テストケースと既存ベンチマークで方針変更を検証した。サブエージェントが有効な作業を損なわないことを確認したうえで、社内および公開A/Bテストへ進み、信頼性、応答性、サブエージェントの処理負荷、品質を評価した。
本番A/Bテストでは、セッション当たりのツール失敗が23%減った。ツール別では検索の失敗が27%、編集の失敗が18%減り、委譲の判断を見直した効果が、実際のツール実行にも表れた。
委譲先の処理負荷とユーザーの待ち時間も縮小
GitHubの実行履歴分析では、対照群に比べてユーザー当たりのサブエージェントのLLM処理時間が平均で12%、P95で18%短くなった。GitHubは、改善の主因を個々のLLM呼び出しの高速化ではなく、不要な委譲経路とサブエージェントの処理負荷を減らしたこととしている。
本番A/Bテストでは、ユーザーの総待ち時間もP95で5%、P75で3%短くなり、品質指標の悪化はなかった。P95は待ち時間が長い側の約5%との境界、P75は長い側の約25%との境界を示す。
委譲方針の改善は、本番トラフィック全体へ展開済みだ。利用にあたっては、GitHub Copilot CLIをバージョン1.0.42以降へ更新するよう案内している。