AI

GitHubの開発支援AI、行番号除去で1人1日当たりの推論費用を約3%削減

この記事のポイント

  1. 実現したこと

    開発支援AIのGitHub Copilotは、ツール出力を圧縮した後も完全な原出力を取得できる。

  2. 実現の仕組み

    コードや差分はそのまま渡し、検索結果は欠落なく再配置し、反復的なログを選んで圧縮する。

  3. 得られた結果

    GitHubの利用者実験では、行番号の除去で1人1日当たりの平均モデル推論費用が約3%下がった。

  4. 従来との違い

    ファイル読み取りツールは、全行に行番号を付ける方式から、ファイル内容だけを渡す方式へ変更された。

開発机上で、コードや差分を保った出力と行番号のないファイル内容はそのまま流れ、反復するビルドやテストのログだけが短く圧縮される様子を描いたイラスト。元のログ束も手元に残されている。
AI生成画像

コードや差分を保ったまま反復ログを圧縮し、ファイル読み取り時の不要な行番号を取り除く。GitHub Copilotは、エージェントへ渡す入力を用途に応じて整理し、情報の再取得を招かずに推論費用を減らす実装を導入した。

コードを残し、反復ログを選んで圧縮する

開発支援AIのGitHub Copilotは、コマンド出力の種類に応じて、モデルへ渡す内容の処理を変える。GitHubが提供する圧縮処理では、catによるファイル内容やgit diffの差分、git show、任意のスクリプトの出力を変更せず返す。

検索結果は、一致箇所やファイル一覧を落とさずにまとめ直す。インストール、ビルド、テスト、進捗の出力は、反復が多く十分な削減が見込める場合に圧縮し、内容を保つ対象と短縮する対象を分けている。

原出力への戻り方まで評価する

出力を短くしても、必要な情報が抜ければ読み直しが発生する。GitHubが出力短縮ツールRTKを組み込んだ評価では、欠落情報を取り戻すための再読み取りやコマンド再実行が生じ、タスク全体の平均トークン使用量と所要時間が増えた。この結果は、試した組み込み方と評価課題に限られる。

提供版では、圧縮後も完全な原出力を取得できる経路を残した。GitHubのオフライン評価では、圧縮が作動した課題の成功率に統計的に有意な悪化は検出されず、原出力が取得されることも極めてまれだった。オンライン実験でも平均費用はわずかに下がり、追跡した品質指標に実質的な悪化は検出されなかった。

編集に使わなくなった行番号を取り除く

情報の選別を必要としない削減もある。ファイル読み取りツールviewは、モデルへ渡す内容の各行に付けていた行番号を除去し、ファイル内容そのものは変えずに渡すようになった。

行番号は、従来の編集ツールが変更位置を指定するために使っていた。現在の編集ツールは周辺コードとの照合で位置を指定するため、通常の編集手順で使われなくなった番号が、ファイルを読むたびに入力へ加わっていた。

行番号の除去を利用者実験で検証

GitHubのオフラインのコーディング課題評価では、行番号を除くことでモデル推論費用が約5%下がった。成功率は実行ごとに生じる想定内の変動に収まり、編集失敗も増えなかった。

続くコマンドライン型の開発支援AI、GitHub Copilot CLIの利用者実験では、1人1日当たりの平均モデル推論費用が約3%下がった。追跡した品質・満足度指標にも、実質的な悪化は検出されなかった。