AI

AIコードレビューの評価で正解集にない有効な指摘も採点

この記事のポイント

  1. 実現したこと

    AIコードレビューを、19言語・219件のプルリクエストと共通の採点方式で比較できるようになった。

  2. 実現の仕組み

    人間、解析ツール、複数系列の言語モデルから指摘候補を集め、同じ問題を統合して共通基準で判定する。

  3. 得られた結果

    GitHubは、熟練エンジニアによる正解指摘の確認で96.6%の一致率を公表した。

  4. 従来との違い

    既存の正解との一致だけを測る指標に加え、正解集合にない有効な指摘も評価する指標を導入した。

コード変更資料の周囲で、人のレビュー、静的解析ツール、言語モデル端末から指摘カードが集まり、重複をまとめた後、既知の指摘と新たに有効と判定された指摘に分けて採点する様子。
AI生成画像

AIコードレビューが見つけた問題を、用意された正解との一致だけでなく、新しい有効な指摘としても採点する。GitHubが公開した評価基盤ReviewBenchは、既知の問題をどれだけ捉えたかと、正解集合の外で何を見つけたかを分けて評価する。

19言語の変更を共通条件でレビューする

GitHubは、AIコードレビューの評価基盤ReviewBenchを公開した。評価対象には、187の公開オープンソースリポジトリから集めた19言語・219件のプルリクエストを使い、共通の採点方式でレビューを比較する。

評価対象の構成には、1億390万件のプルリクエストを分析した分布を反映した。言語とリポジトリ規模はGitHub全体に近づける一方、変更規模は極小の単一ファイル変更への偏りを抑え、より実質的な複数ファイルの変更を残している。

複数の情報源から正解指摘を集める

各プルリクエストの正解指摘は、人間のレビューだけから作るわけではない。候補には、作成者の後続コミットから推定した問題、決定的な解析ツールの検出結果、複数系列の大規模言語モデルによる指摘も加える。

集めた候補のうち、同じ根本的な問題を指すものは意味に基づいて統合する。複数の情報源が同じ問題を見つけても重複して数えず、異なる問題を正解集合へ取り込む構成になっている。

指摘元によらず三つの条件で妥当性を判定する

統合した指摘は、採点用の言語モデルClaude Sonnet 5が共通基準で判定する。正しいこと、対象の変更に関連すること、些末でないことを満たす指摘を有効とし、人間やモデルといった指摘元によって基準を変えない。

GitHubは、正解指摘を熟練エンジニアが確認した際の一致率を96.6%と公表した。この数値は正解指摘の判定に関する一致率であり、評価されるAIの問題検出率を示すものではない。

既知の正解との一致と新しい発見を分けて測る

採点では、既存の正解ラベルだけを使うGrounded指標で適合率、再現率、F1スコアを計算する。適合率は出した指摘のうち正解に一致する割合、再現率は既知の正解のうち見つけた割合を表し、F1スコアは両者を等しく重視する。

正解集合に一致しない指摘は、Augmented指標で別途判定する。採点用モデルが有効と認めた新しい指摘も評価へ反映するため、正解集合を作った段階で見つからなかった問題を捉えたレビューにも評価を与えることができる。