AI

開発AIのCopilot、同一モデルの比較でトークン消費減

この記事のポイント

  1. 実現したこと

    Copilotの共通実行基盤では、20種類以上のAIモデルを選択して利用できる。

  2. 実現の仕組み

    モデルの動作を支える実行基盤が、ツール、コンテキスト、作業の流れを統括する。

  3. 得られた結果

    GitHubの評価では、課題完了率は提供元の実行基盤と実質同等で、多くの構成でトークン消費が少なかった。

  4. 従来との違い

    比較実験では、同じモデルと課題を保ちながら、モデル提供元の実行基盤をCopilotの実行基盤に置き換えた。

明るい開発作業机を左右に分け、同じモデルと課題を受け取る二つの実行環境を比較したイラスト。両方に完了を示す印があり、一方のカウンターは少ない。
AI生成画像

同じAIモデルでも、開発作業を進める実行基盤によってトークン消費に差が出た。GitHubの比較評価では、Copilotはモデル提供元の実行基盤と実質同等の課題完了率を示し、多くの構成で消費トークンを抑えた。

ツールと作業の流れを共通の実行基盤が担う

開発支援AIのGitHub Copilotは、モデルの周囲でツール、コンテキスト、ワークフローを統括する実行基盤を使う。GitHubが「agentic harness」と呼ぶこの部分が、モデルを開発作業へ適用する際の動作を支える。

実行基盤は、開発用SDKであるGitHub Copilot SDKの共通コンポーネントになっている。コマンドライン用のGitHub Copilot CLI、開発支援アプリのGitHub Copilot app、コードレビュー機能のCopilot code reviewが、この共通部分を利用する。

モデルを固定して実行基盤を入れ替える

GitHubは、モデルの違いと実行基盤の違いを切り分けるため、同じモデルと同じベンチマーク課題で比較した。コンテキストウィンドウ、推論の強度、ツール選択、外部ツール接続用のMCPサーバーについても、条件をそろえたとしている。

比較には4種類のモデルを使った。Claude Sonnet 4.6とClaude Opus 4.7では開発エージェントのClaude Codeを、GPT‑5.4とGPT‑5.5では開発エージェントのCodex CLIを、それぞれCopilot CLIの比較対象にした。

完了率の同等性とトークン消費を別々に評価

評価対象は、不具合修正課題のSWE-bench Verified、複雑な開発課題のSWE-bench Pro、スキル利用を測るSkillsBench、端末操作課題のTerminalBenchにまたがる。Windowsコンテナー内で作業する内部ベンチマークのWin-Hillも含めた。

GitHubの測定では、モデルと課題を固定すると、多くの構成でCopilotのトークン消費が比較対象を下回った。課題完了率には上下の差があるものの、モデルの確率的な動作による変動の範囲内で、実質的に同等と位置付けている。

反復実行で完了率と費用のばらつきを捉える

GitHubはTerminalBench 2.0で、各エージェントとモデルの組み合わせを少なくとも5回実行した。課題完了率と課題当たり費用を二つの軸に取り、実行ごとのばらつきを1標準偏差の楕円で示している。

ほぼすべてのモデルで、Copilotと同一モデルの比較対象の楕円は両軸で重なった。この比較に用いたモデルを含め、共通実行基盤はGPT、Claude、Gemini、MAIの各系列にまたがる20種類以上のモデルをサポートし、利用者がモデルを選択できる。