AI

CopilotのAIコードレビュー、探索指示の改訂で平均コスト約20%減

この記事のポイント

  1. 実現したこと

    AIコードレビューは、変更差分から確認事項を定め、必要なファイルや行範囲へ探索を絞って読めるようになった。

  2. 実現の仕組み

    globとgrepで候補をまとめて探し、読む対象が決まってからviewでコードを取得する手順にした。

  3. 得られた結果

    GitHubの評価では、従来と同じレビュー品質を維持しながら平均レビューコストが約20%下がった。

  4. 従来との違い

    コード探索の実装を、レビュー専用ツールからCopilot CLIとSDKの共通ツールへ置き換えた。

明るい木製の机に、差分を示す赤と緑の帯が入ったコード用紙、候補を整理する色付きタブのファイル、虫眼鏡で確認する数枚の用紙が並び、読まない書類の束が奥に置かれている。
AI生成画像

AIコードレビューの探索手順が、変更差分から確認事項を定め、必要なコードだけを読む流れに変わった。GitHubは、Copilot code reviewの共通ツールへの移行と指示の改訂により、従来のレビュー品質を維持しながら平均レビューコストを約20%削減したとしている。

周辺コードも返す専用ツールから共通ツールへ

GitHubのAIコードレビュー機能「Copilot code review」は、ファイル探索に使っていた専用ツールを、コマンドライン向け製品のCopilot CLIとSDKの共通ツールへ置き換えた。移行対象は、候補ファイルの発見、コード内の検索、必要な範囲の読み出しを担う処理だ。

従来の専用ツールは、ディレクトリを検索したりコードの一部を読んだりすると、該当部分に周辺コードを添えることがあった。GitHubは、ツール呼び出しが少なく、必要な文脈を自ら集める能力も低かった以前のモデルに合わせた構成だったと説明している。

単純な置き換えで探索が広がり続けた

GitHubのオフライン評価では、共通ツールへ単純に置き換えた段階で平均レビューコストが増え、有用なコメント数が減った。実行履歴には、エージェントが広く検索し、ありそうなパスを推測し、広範囲のファイルを読む挙動が現れた。

読み出したコードは次の検索のきっかけとなり、余分な文脈が後続処理へ持ち越された。GitHubは、ツールの出力がエージェントの作業文脈に残るため、不要なコードの取得がコストを増やし、レビューの焦点もぼかし得ると説明している。

差分から問いを作り、検索してから読む

探索の広がりを抑えるため、GitHubは指示の起点をプルリクエストの差分に置いた。まず変更について具体的な確認事項を定め、パスが不明ならファイル候補を探すglobを使い、文字列やシンボル、呼び出し箇所はgrepで検索する。読むファイルや行範囲が決まってから、viewで内容を取得する手順だ。

実行順序も、検索と読み出しを一回ずつ交互に繰り返す形から改めた。ファイルを読む前に候補の探索をまとめ、絞り込んだ範囲の読み出しもまとめて行うよう指示している。

検索失敗時の手順も定め、品質を保ってコストを削減

検索で情報が見つからない場合にも、探索を立て直す手順を設けた。grepが関連情報を返さなければ、特殊文字をエスケープした簡単な検索で再試行する。ファイルのパスが誤っていれば、近そうなパスの推測を続けず、globによる候補探しへ切り替える。

GitHubによると、共通ツールへの移行とこうした指示の調整により、従来と同じレビュー品質を維持しながら平均レビューコストが約20%下がった。このコスト削減と品質の維持は、オフライン評価とオンライン評価の両方で確認したとしている。