Technology

GitHubのスター履歴API、集計前に期間を絞って処理を削減

この記事のポイント

  1. 実現したこと

    新しいスター履歴APIで、最大30週間分の日別件数を1回のリクエストで取得できるようになった。

  2. 実現の仕組み

    ページ指定をインデックス付きの日時範囲へ変換し、対象期間のスターを抽出してから日別に数える。

  3. 得られた結果

    GitHubによると、react/reactの履歴全体の取得は約2511回から約24回のリクエストに減った。

  4. 従来との違い

    利用者の一覧から日時を抜き出す取得方式に代わり、個人の識別情報を返さない集計専用APIが加わった。

星形のスター記録が並ぶ時間軸で、選択された期間の記録だけが日別集計の器に流れ込み、件数の棒グラフになる様子。背景には全履歴をページごとにたどる流れも描かれている。
AI生成画像

スター履歴の取得で、返すデータだけでなく、データベースが集計する範囲も小さくした。GitHubの新APIは、時間で対象を絞ってから日別件数を計算し、個人の識別情報を含めずに最大30週間分を一度に返す。

利用者の一覧を取らずに日別件数を得る

GitHubは、リポジトリへの関心の推移を取得するスター履歴APIを提供した。1回のリクエストで最大30週間分の日別件数を返し、スターを付けた利用者の識別情報は含めない。

従来、履歴を描くツールは利用者の一覧を読み、付与日時だけを残して識別情報を捨てていた。スターを付けた利用者とウォッチャーの一覧へのアクセスが管理者とコラボレーターに制限されたため、その応答に依存する履歴取得も影響を受けた。新APIは、曲線の作成に必要な日付と件数を直接返す経路となる。

100人ずつの取得と全件カウントが重なっていた

従来の一覧APIは、1ページに最大100人を返す仕組みだった。GitHubによると、約25万1000件のスターがあるリポジトリreact/reactで曲線を再構成するには、約2511回のリクエストが必要だった。

サーバー側では、ページ分割の不具合によって各リクエストのたびに全スターを数え、ページ数を求めていた。返却する利用者が100人以下でも、件数を数える処理はリポジトリ全体に及んでいた。

このデータモデルが保持するのは、現在スターを付けている利用者のレコードである。解除されたスターのレコードは削除されるため、そこから作る曲線は、解除も含む過去の全イベントを保存した履歴とは性質が異なる。

集計してからページを切っても処理は減らない

利用者ごとのレコードを日別や週別の件数にまとめれば、応答のデータ量は小さくなる。ただし、GitHubが検討した方式では、データベースが全スターをグループ化して並べ替えた後に、返却位置と件数を指定するOFFSETとlimitを適用していた。

この順序では、少数の集計結果を返す場合も、その前段で全スターを処理する。応答の件数を絞るだけでは集計負荷が残るため、新APIでは集計を始める前の抽出範囲を変更した。

ページ指定を時間範囲に変えてから数える

新APIは、ページ番号のpageと取得範囲を指定するper_pageを、インデックス付きのcreated_atの時間範囲へ変換する。その範囲に入るスターだけを抽出してから日別に集計するため、各リクエストの処理対象が返却する期間に絞られる。

ページの区切りには暦週を使い、pageを増やすと過去へさかのぼる。利用者を100人ずつ取得する方式から、最大30週間分を日別件数として受け取る方式になり、GitHubによるとreact/reactの履歴全体に必要なリクエストは約2511回から約24回に減った。