コードや差分を保ったまま反復ログを圧縮し、ファイル読み取り時の不要な行番号を取り除く。GitHub Copilotは、エージェントへ渡す入力を用途に応じて整理し、情報の再取得を招かずに推論費用を減らす実装を導入した。
コードを残し、反復ログを選んで圧縮する
開発支援AIのGitHub Copilotは、コマンド出力の種類に応じて、モデルへ渡す内容の処理を変える。GitHubが提供する圧縮処理では、catによるファイル内容やgit diffの差分、git show、任意のスクリプトの出力を変更せず返す。
検索結果は、一致箇所やファイル一覧を落とさずにまとめ直す。インストール、ビルド、テスト、進捗の出力は、反復が多く十分な削減が見込める場合に圧縮し、内容を保つ対象と短縮する対象を分けている。
原出力への戻り方まで評価する
出力を短くしても、必要な情報が抜ければ読み直しが発生する。GitHubが出力短縮ツールRTKを組み込んだ評価では、欠落情報を取り戻すための再読み取りやコマンド再実行が生じ、タスク全体の平均トークン使用量と所要時間が増えた。この結果は、試した組み込み方と評価課題に限られる。
提供版では、圧縮後も完全な原出力を取得できる経路を残した。GitHubのオフライン評価では、圧縮が作動した課題の成功率に統計的に有意な悪化は検出されず、原出力が取得されることも極めてまれだった。オンライン実験でも平均費用はわずかに下がり、追跡した品質指標に実質的な悪化は検出されなかった。
編集に使わなくなった行番号を取り除く
情報の選別を必要としない削減もある。ファイル読み取りツールviewは、モデルへ渡す内容の各行に付けていた行番号を除去し、ファイル内容そのものは変えずに渡すようになった。
行番号は、従来の編集ツールが変更位置を指定するために使っていた。現在の編集ツールは周辺コードとの照合で位置を指定するため、通常の編集手順で使われなくなった番号が、ファイルを読むたびに入力へ加わっていた。
行番号の除去を利用者実験で検証
GitHubのオフラインのコーディング課題評価では、行番号を除くことでモデル推論費用が約5%下がった。成功率は実行ごとに生じる想定内の変動に収まり、編集失敗も増えなかった。
続くコマンドライン型の開発支援AI、GitHub Copilot CLIの利用者実験では、1人1日当たりの平均モデル推論費用が約3%下がった。追跡した品質・満足度指標にも、実質的な悪化は検出されなかった。