AI

開発支援AIのCopilot CLI、セッション当たりのツール失敗23%減

この記事のポイント

  1. 実現したこと

    開発支援AIのGitHub Copilot CLIは、対象が絞られた探索・編集・検証を主エージェントで処理し、独立した作業を選んで委譲するようになった。

  2. 実現の仕組み

    補助役のサブエージェントへ要求・既知情報・担当範囲・返却結果を引き継ぎ、主エージェントも独立した作業を続ける。

  3. 得られた結果

    GitHubの本番A/Bテストでは、セッション当たりのツール失敗が23%減り、品質指標の悪化はなかった。

  4. 従来との違い

    単純な作業まで委譲していた実行制御を見直し、改善した方針を本番トラフィック全体へ展開した。

明るい作業場で、主エージェントが少数のコード用紙を調べて編集・確認しながら、隣の補助エージェントが別のフォルダー群を独立して調査しているイラスト。
AI生成画像

開発支援AIのGitHub Copilot CLIが、作業を別のAIへ任せる判断を見直した。単純な変更は主エージェントで進め、独立した調査などを選んで委譲する。GitHubの本番A/Bテストでは、セッション当たりのツール失敗が23%減り、待ち時間も短くなった。

単純な探索と編集を主エージェントに残す

GitHubは、AIが作業を進める実行履歴をLLMで分析し、範囲が狭く、引き継ぎ情報だけで処理できる作業にも、補助役のサブエージェントを呼び出していた傾向を特定した。主エージェントが十分な情報を持っていても、委譲先がリポジトリを再探索する場合があり、余分な引き継ぎや待ち時間が生じていた。

更新された制御方針では、対象ファイルを探し、読み、必要な変更を加えて検証するような作業を主エージェントが直接進める。別の文脈を必要とする調査や広範な探索、並列に進められる作業を委譲の対象にし、作業が再び絞られれば直接処理へ戻す。

委譲先の担当を定め、主エージェントも作業を続ける

委譲する場合は、ユーザーが求めた内容、すでに分かっている情報、サブエージェントの担当範囲、返してほしい結果を具体的に引き継ぐ。この引き継ぎによって、委譲先が何を調べ、どの形で結果を戻すかを明確にする。

更新された方針は、サブエージェントを起動した後も、主エージェントが独立した作業を続けるようにする。結果が戻るまで全体を止める進め方を避け、委譲を並列実行へつなげる。

本番比較で検索・編集ツールの失敗が減少

GitHubは、自動生成した回帰テストケースと既存ベンチマークで方針変更を検証した。サブエージェントが有効な作業を損なわないことを確認したうえで、社内および公開A/Bテストへ進み、信頼性、応答性、サブエージェントの処理負荷、品質を評価した。

本番A/Bテストでは、セッション当たりのツール失敗が23%減った。ツール別では検索の失敗が27%、編集の失敗が18%減り、委譲の判断を見直した効果が、実際のツール実行にも表れた。

委譲先の処理負荷とユーザーの待ち時間も縮小

GitHubの実行履歴分析では、対照群に比べてユーザー当たりのサブエージェントのLLM処理時間が平均で12%、P95で18%短くなった。GitHubは、改善の主因を個々のLLM呼び出しの高速化ではなく、不要な委譲経路とサブエージェントの処理負荷を減らしたこととしている。

本番A/Bテストでは、ユーザーの総待ち時間もP95で5%、P75で3%短くなり、品質指標の悪化はなかった。P95は待ち時間が長い側の約5%との境界、P75は長い側の約25%との境界を示す。

委譲方針の改善は、本番トラフィック全体へ展開済みだ。利用にあたっては、GitHub Copilot CLIをバージョン1.0.42以降へ更新するよう案内している。