非英語の説明文や議論を含む公開リポジトリを、言語判定と信頼度から探せるようになった。GitHubの新しいメタデータ集は4000万超のリポジトリを対象とし、3種類の分類結果を統合せずに提供する。
4000万超のリポジトリを探索対象にする
GitHubは、非英語の開発者コンテンツを探すためのメタデータ集「GitHub Multilingual Repositories Dataset」を公開した。収録規模は4000万超の公開リポジトリ、8000万行超の分類結果に及ぶ。
収録するのはリポジトリ単位のメタデータで、内容を一括して収めたものではない。作成日時、ディスク使用量、スター数、フォーク数、主要プログラミング言語、SPDXライセンス、issue数、pull request数、スナップショット日を分類結果に添える。
公開ライセンスはCC0-1.0だ。GitHubは、2025年に表明した多言語データへのアクセス拡大の約束を、この公開によって実行したとしている。
説明文と議論の先頭150文字を分類する
分類対象は、プロジェクトの説明文に当たるREADMEと、最もコメントの多いissue、最もコメントの多いpull requestだ。不具合報告などの議論と、変更提案のやり取りを、説明文とは別のテキスト源として扱う。
各テキストから先頭150文字を取り出して言語分類に入力し、20文字未満のものは除外する。GitHubは、この短いサンプルがリポジトリ全体を代表するとは限らないため、分類結果を言語識別の正解ベンチマークとして扱わず、探索に使うよう位置付けている。
3種類の判定を残し、抽出条件を利用者が決める
言語分類器にはfastText、gcld3、lingua-pyを使う。収録する分類結果は信頼度が0.5を超えるものに限り、3種類の判定と信頼度を一つのラベルへ統合せずに提供する。
利用者は、分類器同士の一致や信頼度のしきい値を指定して対象を選べる。例えば、3種類すべての一致を求めて絞り込むか、一つの分類器の判定を使って広く候補を拾うかを、探索の目的に合わせて決めることができる。
READMEとissueで異なる言語分布を捉える
GitHubの集計では、韓国語はissue本文で最多の非英語言語だった一方、READMEでは5位だった。READMEの非英語言語で最多だったのはポルトガル語で、該当するリポジトリは300万超に上った。
この違いは、説明文と議論のどちらを調べるかで、見つかる言語の分布が異なることを示している。GitHubは、こうして言語別に発見した開発者コンテンツから、AIコーディングツール、文書生成器、レビュー支援ツールの評価セットを構築する用途を挙げている。