AI

AIコード支援Copilotがキャッシュの区切りでモデルを選択

この記事のポイント

  1. 実現したこと

    AIコード支援のCopilotは、VS Code、Web、モバイルで作業意図に応じたモデルの自動選択を利用できる。

  2. 実現の仕組み

    モデル選択は初回と対話の要約後に行い、その間は同じモデルでプロンプトのキャッシュを再利用する。

  3. 得られた結果

    GitHubの評価では、言語グループごとのモデル選択精度は英語の基準値から4ポイント以内に収まった。

  4. 従来との違い

    VS Code版は、全ツールの完全な定義を毎回送る方式から、必要な定義を読み込む方式へ切り替えた。

明るい机の上で、色分けされた抽象的なモデルブロックの間をプロンプトカードが左から右へ進む。途中の複数ターンでは同じカード束が再利用され、区切りの先で束が短くなってモデルが再選択される。脇のトレーには空白のツール定義カードが並び、一部だけが取り出されている。
AI生成画像

AIコード支援のGitHub Copilotは、作業に合うモデルを選びながら、対話途中では同じモデルを維持してキャッシュを再利用する。VS Code版では、ツール定義も必要なときに読み込み、各ターンで繰り返し処理する入力を減らしている。

繰り返す入力を再利用し、ツール定義を必要時に読み込む

GitHubによると、VS Code版Copilotのプロンプトキャッシュは、繰り返し使うプロンプト先頭部分のモデル状態を再利用する。要求のたびに同じ先頭部分を計算し直す処理を省く仕組みだ。

ツール検索は、モデルへ渡す入力そのものを絞る。全ツールの完全な定義を毎ターン送る代わりに、必要な定義を要求に応じて読み込むため、利用できるツールを広く保ちながら不要な定義の送信を減らす。

作業の難しさと稼働状況からモデルを選ぶ

入力の再処理を抑える仕組みに、自動モデル選択機能のAutoを組み合わせる。モデルの利用可能性、使用状況、速度、エラー率、コストを選択に反映し、応答できるモデルを稼働状況から判断する。

作業との適合性は、ルーティングモデルのHyDRAが判断する。推論の深さ、コードの複雑さ、デバッグの難しさ、ツール連携の必要性を考慮し、その作業で品質基準を満たすモデルを選ぶ。

モデルを切り替える時点もキャッシュに合わせる

モデルの選択には、変更に伴う再処理コストも関わる。GitHubは、対話途中でモデルを切り替えるとプロンプト先頭部分のキャッシュが失われ、その再処理がモデル変更による節約を上回る場合があるとしている。

Autoはこの関係を踏まえ、キャッシュがまだない初回ターンと、過去の対話を要約するコンパクション後にモデルを選ぶ。コンパクションでプロンプト先頭部分がリセットされる時点を選択の区切りとし、区切りの間は同じモデルを維持してキャッシュを再利用する。

多言語での選択精度を評価し、3つの利用環境へ提供

モデル選択は英語以外の対話も対象にしている。GitHubは、16の言語系統にまたがる対話でルーティングモデルを学習させ、評価では言語グループごとの選択精度が英語の基準値から4ポイント以内に収まったとしている。

作業意図を使うAutoは、Visual Studio Code、github.com、モバイルで提供されている。これらの環境では、コーディングやデバッグ、計画、ツール利用といった作業意図をモデル選択に反映する。