AIコード支援のGitHub Copilotは、作業に合うモデルを選びながら、対話途中では同じモデルを維持してキャッシュを再利用する。VS Code版では、ツール定義も必要なときに読み込み、各ターンで繰り返し処理する入力を減らしている。
繰り返す入力を再利用し、ツール定義を必要時に読み込む
GitHubによると、VS Code版Copilotのプロンプトキャッシュは、繰り返し使うプロンプト先頭部分のモデル状態を再利用する。要求のたびに同じ先頭部分を計算し直す処理を省く仕組みだ。
ツール検索は、モデルへ渡す入力そのものを絞る。全ツールの完全な定義を毎ターン送る代わりに、必要な定義を要求に応じて読み込むため、利用できるツールを広く保ちながら不要な定義の送信を減らす。
作業の難しさと稼働状況からモデルを選ぶ
入力の再処理を抑える仕組みに、自動モデル選択機能のAutoを組み合わせる。モデルの利用可能性、使用状況、速度、エラー率、コストを選択に反映し、応答できるモデルを稼働状況から判断する。
作業との適合性は、ルーティングモデルのHyDRAが判断する。推論の深さ、コードの複雑さ、デバッグの難しさ、ツール連携の必要性を考慮し、その作業で品質基準を満たすモデルを選ぶ。
モデルを切り替える時点もキャッシュに合わせる
モデルの選択には、変更に伴う再処理コストも関わる。GitHubは、対話途中でモデルを切り替えるとプロンプト先頭部分のキャッシュが失われ、その再処理がモデル変更による節約を上回る場合があるとしている。
Autoはこの関係を踏まえ、キャッシュがまだない初回ターンと、過去の対話を要約するコンパクション後にモデルを選ぶ。コンパクションでプロンプト先頭部分がリセットされる時点を選択の区切りとし、区切りの間は同じモデルを維持してキャッシュを再利用する。
多言語での選択精度を評価し、3つの利用環境へ提供
モデル選択は英語以外の対話も対象にしている。GitHubは、16の言語系統にまたがる対話でルーティングモデルを学習させ、評価では言語グループごとの選択精度が英語の基準値から4ポイント以内に収まったとしている。
作業意図を使うAutoは、Visual Studio Code、github.com、モバイルで提供されている。これらの環境では、コーディングやデバッグ、計画、ツール利用といった作業意図をモデル選択に反映する。