AI

複数PCへAI推論を振り分けるPAIRがllama.cppに対応

この記事のポイント

  1. 実現したこと

    推論ルーターPAIRで、llama.cppを使ったローカルAI推論も管理できるようになった。

  2. 実現の仕組み

    推論エンジンとモデルの利用可否、処理負荷に応じて、要求ごとに実行するPCを選ぶ。

  3. 得られた結果

    Windows 11、Linux、macOSのPCを混在させて推論要求を振り分けられる。

  4. 従来との違い

    PAIRはベータ版から正式版へ移行し、モデルの直接ダウンロードと推論エンジンの設定機能も追加した。

明るい作業室に並ぶ3台のPCと中央の仕分けトレー。色の異なる要求タイルがそれぞれ1台のPCへ割り当てられ、PC内部にはモデルを示すブロックとメモリーモジュールが描かれている。
AI生成画像

複数PCへローカルAIの推論要求を振り分けるNVIDIA PAIRが正式版へ移行し、推論エンジンllama.cppに対応した。要求ごとに実行先を選ぶ仕組みで、1つのモデルをPC間で分割する構成ではない。

正式版で推論エンジンとモデル導入を拡充

NVIDIAは10月13日、ローカル推論ルーターPAIRをベータ版から正式版へ移行した。正式版では推論エンジンllama.cppへの対応に加え、ローカルAI向けPC基盤RTX Sparkにも対応した。

モデル配布サービスHugging Faceからの直接ダウンロードと、推論エンジン設定のカスタマイズも追加された。推論を実行するエンジンだけでなく、そこで使うモデルの導入と実行設定も更新の対象になっている。

モデルの有無と負荷から実行先を選ぶ

PAIRは同じネットワークに参加するPCを検出し、対応する推論エンジンを管理する。推論要求が入ると、エンジンとモデルの利用可否、現在の処理負荷に応じて実行先のPCを選ぶ。

実行先候補になるには、互換性のある推論エンジンが実際に稼働している必要がある。モデルを読み込むためのメモリーも各PCに必要で、PAIRを導入しただけで、そのPCがすべてのモデルを処理できるわけではない。

1件の推論は1台で処理する

実行先を選ぶ単位は、独立した推論要求だ。PAIRは個々の要求を1台のPCへ割り当て、処理中の要求を複数PCへ分割しない。

GPUメモリーを共有したり、1つのモデルをマシン間で分割したりする機能も持たない。複数PCの利用は、要求ごとに処理を振り分ける形で成立する。

互換APIを窓口に異なるOSのPCを接続

アプリケーションからの要求は、PAIRが提供するローカルのプロキシエンドポイントで受け付ける。窓口はOllama互換、OpenAI互換、Anthropic Messages APIの要求に対応する。

その実行先には、Windows 11、Linux、macOSのPCを組み合わせられる。各PCのエンジンとモデルが動作条件を満たせば、異なるOSのPC同士でも推論要求の振り分け先として利用できる。