AI

GitHubの多言語データ探索、3種類の言語判定を個別に選別

この記事のポイント

  1. 実現したこと

    4000万超の公開リポジトリを対象に、非英語の説明文や議論を含む候補を探せるようになった。

  2. 実現の仕組み

    READMEとコメント最多のissue・pull requestの先頭150文字を、3種類の言語分類器で判定する。

  3. 得られた結果

    GitHubの集計では、韓国語はissue本文で最多の非英語言語だったが、READMEでは5位だった。

  4. 従来との違い

    2025年に表明した多言語データへのアクセス拡大が、CC0-1.0によるメタデータ集の公開として具体化した。

棚に並ぶリポジトリのフォルダーを背景に、説明文・issue・pull requestを示す3種類の紙片が、それぞれ3つの分類器を通って別々の色分けトレイへ進む、明るい編集イラスト。
AI生成画像

非英語の説明文や議論を含む公開リポジトリを、言語判定と信頼度から探せるようになった。GitHubの新しいメタデータ集は4000万超のリポジトリを対象とし、3種類の分類結果を統合せずに提供する。

4000万超のリポジトリを探索対象にする

GitHubは、非英語の開発者コンテンツを探すためのメタデータ集「GitHub Multilingual Repositories Dataset」を公開した。収録規模は4000万超の公開リポジトリ、8000万行超の分類結果に及ぶ。

収録するのはリポジトリ単位のメタデータで、内容を一括して収めたものではない。作成日時、ディスク使用量、スター数、フォーク数、主要プログラミング言語、SPDXライセンス、issue数、pull request数、スナップショット日を分類結果に添える。

公開ライセンスはCC0-1.0だ。GitHubは、2025年に表明した多言語データへのアクセス拡大の約束を、この公開によって実行したとしている。

説明文と議論の先頭150文字を分類する

分類対象は、プロジェクトの説明文に当たるREADMEと、最もコメントの多いissue、最もコメントの多いpull requestだ。不具合報告などの議論と、変更提案のやり取りを、説明文とは別のテキスト源として扱う。

各テキストから先頭150文字を取り出して言語分類に入力し、20文字未満のものは除外する。GitHubは、この短いサンプルがリポジトリ全体を代表するとは限らないため、分類結果を言語識別の正解ベンチマークとして扱わず、探索に使うよう位置付けている。

3種類の判定を残し、抽出条件を利用者が決める

言語分類器にはfastText、gcld3、lingua-pyを使う。収録する分類結果は信頼度が0.5を超えるものに限り、3種類の判定と信頼度を一つのラベルへ統合せずに提供する。

利用者は、分類器同士の一致や信頼度のしきい値を指定して対象を選べる。例えば、3種類すべての一致を求めて絞り込むか、一つの分類器の判定を使って広く候補を拾うかを、探索の目的に合わせて決めることができる。

READMEとissueで異なる言語分布を捉える

GitHubの集計では、韓国語はissue本文で最多の非英語言語だった一方、READMEでは5位だった。READMEの非英語言語で最多だったのはポルトガル語で、該当するリポジトリは300万超に上った。

この違いは、説明文と議論のどちらを調べるかで、見つかる言語の分布が異なることを示している。GitHubは、こうして言語別に発見した開発者コンテンツから、AIコーディングツール、文書生成器、レビュー支援ツールの評価セットを構築する用途を挙げている。