同じAIモデルでも、開発作業を進める実行基盤によってトークン消費に差が出た。GitHubの比較評価では、Copilotはモデル提供元の実行基盤と実質同等の課題完了率を示し、多くの構成で消費トークンを抑えた。
ツールと作業の流れを共通の実行基盤が担う
開発支援AIのGitHub Copilotは、モデルの周囲でツール、コンテキスト、ワークフローを統括する実行基盤を使う。GitHubが「agentic harness」と呼ぶこの部分が、モデルを開発作業へ適用する際の動作を支える。
実行基盤は、開発用SDKであるGitHub Copilot SDKの共通コンポーネントになっている。コマンドライン用のGitHub Copilot CLI、開発支援アプリのGitHub Copilot app、コードレビュー機能のCopilot code reviewが、この共通部分を利用する。
モデルを固定して実行基盤を入れ替える
GitHubは、モデルの違いと実行基盤の違いを切り分けるため、同じモデルと同じベンチマーク課題で比較した。コンテキストウィンドウ、推論の強度、ツール選択、外部ツール接続用のMCPサーバーについても、条件をそろえたとしている。
比較には4種類のモデルを使った。Claude Sonnet 4.6とClaude Opus 4.7では開発エージェントのClaude Codeを、GPT‑5.4とGPT‑5.5では開発エージェントのCodex CLIを、それぞれCopilot CLIの比較対象にした。
完了率の同等性とトークン消費を別々に評価
評価対象は、不具合修正課題のSWE-bench Verified、複雑な開発課題のSWE-bench Pro、スキル利用を測るSkillsBench、端末操作課題のTerminalBenchにまたがる。Windowsコンテナー内で作業する内部ベンチマークのWin-Hillも含めた。
GitHubの測定では、モデルと課題を固定すると、多くの構成でCopilotのトークン消費が比較対象を下回った。課題完了率には上下の差があるものの、モデルの確率的な動作による変動の範囲内で、実質的に同等と位置付けている。
反復実行で完了率と費用のばらつきを捉える
GitHubはTerminalBench 2.0で、各エージェントとモデルの組み合わせを少なくとも5回実行した。課題完了率と課題当たり費用を二つの軸に取り、実行ごとのばらつきを1標準偏差の楕円で示している。
ほぼすべてのモデルで、Copilotと同一モデルの比較対象の楕円は両軸で重なった。この比較に用いたモデルを含め、共通実行基盤はGPT、Claude、Gemini、MAIの各系列にまたがる20種類以上のモデルをサポートし、利用者がモデルを選択できる。