複数PCへローカルAIの推論要求を振り分けるNVIDIA PAIRが正式版へ移行し、推論エンジンllama.cppに対応した。要求ごとに実行先を選ぶ仕組みで、1つのモデルをPC間で分割する構成ではない。
正式版で推論エンジンとモデル導入を拡充
NVIDIAは10月13日、ローカル推論ルーターPAIRをベータ版から正式版へ移行した。正式版では推論エンジンllama.cppへの対応に加え、ローカルAI向けPC基盤RTX Sparkにも対応した。
モデル配布サービスHugging Faceからの直接ダウンロードと、推論エンジン設定のカスタマイズも追加された。推論を実行するエンジンだけでなく、そこで使うモデルの導入と実行設定も更新の対象になっている。
モデルの有無と負荷から実行先を選ぶ
PAIRは同じネットワークに参加するPCを検出し、対応する推論エンジンを管理する。推論要求が入ると、エンジンとモデルの利用可否、現在の処理負荷に応じて実行先のPCを選ぶ。
実行先候補になるには、互換性のある推論エンジンが実際に稼働している必要がある。モデルを読み込むためのメモリーも各PCに必要で、PAIRを導入しただけで、そのPCがすべてのモデルを処理できるわけではない。
1件の推論は1台で処理する
実行先を選ぶ単位は、独立した推論要求だ。PAIRは個々の要求を1台のPCへ割り当て、処理中の要求を複数PCへ分割しない。
GPUメモリーを共有したり、1つのモデルをマシン間で分割したりする機能も持たない。複数PCの利用は、要求ごとに処理を振り分ける形で成立する。
互換APIを窓口に異なるOSのPCを接続
アプリケーションからの要求は、PAIRが提供するローカルのプロキシエンドポイントで受け付ける。窓口はOllama互換、OpenAI互換、Anthropic Messages APIの要求に対応する。
その実行先には、Windows 11、Linux、macOSのPCを組み合わせられる。各PCのエンジンとモデルが動作条件を満たせば、異なるOSのPC同士でも推論要求の振り分け先として利用できる。