社内分析AIが、部署ごとに管理される指標の定義やデータ利用条件を読み込み、自然言語の質問をクエリの実行につなげる。GitHubが構築したQubotは、データの知識をコンテキスト層に集め、質問に応じて2種類のクエリエンジンを使い分ける。
部署が持つ指標定義と利用条件を実行時に渡す
GitHubが構築した社内分析エージェントQubotは、AI開発支援ツールGitHub Copilotを基盤とする。社員は自然言語でデータウェアハウスについて質問でき、その処理には各部署が整備するデータの知識を使う。
コンテキスト層には、未加工のイベントに関するスキーマ情報、整備済みデータを使うためのクエリ例や必須フィルター、業務向けデータセットの指標定義を集める。それぞれを製品チーム、データ分析担当、データ所有チームが提供・管理し、エージェントは実行時にGitHub MCP Serverを介して読み込む。
知識の追加には標準テンプレートや既存リポジトリを利用する。コンテキスト整備用の別のエージェントが提供された情報を取り込み、整理して構造化する。
質問に合わせてKustoからTrinoへ切り替える
データを問い合わせる段階では、クエリエンジンのKustoとTrinoにMCPサーバー経由で接続する。通常はKustoを使い、質問の内容に応じてTrinoへ自動で切り替えるため、利用者が実行先を選ぶ必要はない。
GitHubは、最近のイベントデータを探索する質問にはKustoを使っている。複雑なデータの結合や、長期の履歴を調べる分析はTrinoが担う。
Slackへ回答を返し、分析結果を保存する
社員がSlackの専用チャンネルへ質問すると、Qubotがクラウド上で動くCopilot Cloud Agentとして起動する。回答はSlackへ返され、利用者はスレッド内で質問を絞り込んだり、結果を共有したりすることができる。
分析結果はプルリクエスト内にもMarkdown形式のレポートとして保存される。この記録を参照してクエリを調整し、ダッシュボードで使うこともできる。
知識の変更を評価し、回答速度の改善を確認
コンテキスト層やエージェント設定の変更は、利用者への提供前にオフライン評価を受ける。正解と正解SQLを用意したテストケースを複数回実行し、完了率、正答率、所要時間を集計して構成を比較する。
GitHubの社内実験では、構造化され適切に整備されたコンテキストによって回答精度が改善し、正しい回答を返す速度が3倍になったという。この倍率は、コンテキスト整備の効果として報告された値だ。
GitHubによると、Qubotは数百人に利用され、数千件のクエリを処理した。社員が自らデータを探索するようになり、データ分析担当のSlackチャンネルに寄せられる質問は大幅に減ったとしている。