AI

デスクトップMac Studio、複数台を接続してAI推論を分散

この記事のポイント

  1. 実現したこと

    M5 Ultra搭載Mac Studioでは、大規模なLLMを端末内だけで実行できるとAppleは説明している。

  2. 実現の仕組み

    Thunderbolt 5のRDMAで複数台のMac Studioを接続し、AI推論を分散する。

  3. 得られた結果

    Appleは、複数台による分散AI推論の性能を単体比で最大3倍としている。

  4. 従来との違い

    デスクトップMac StudioにM5 Max搭載とM5 Ultra搭載の新モデルが加わり、販売が始まった。

明るい作業机の上で、3台の小型デスクトップコンピューターがケーブルで接続され、中央の半透明な層状タイルがメモリー共有を表している編集イラスト。
AI生成画像

新型デスクトップMac Studioは、最大512GBのメモリーで端末内のLLM実行に対応し、Thunderbolt 5経由で複数台を接続した分散AI推論も可能になった。Appleは分散時の性能を単体比で最大3倍としている。

GPUの各コアにAI演算向けのアクセラレーター

Appleが発売した新型デスクトップMac Studioには、M5 Max搭載とM5 Ultra搭載の2モデルがある。M5 Maxモデルは最大40コアのGPUを備え、各コアにAI演算向けのNeural Acceleratorsを組み込む。

M5 UltraモデルではGPUが最大80コアとなる。単体の計算構成に加え、モデルごとに対応するメモリー容量も異なる。

最大512GBのメモリーで端末内のLLM実行に対応

ユニファイドメモリーの上限は、M5 Maxモデルが128GB、M5 Ultraモデルが512GBとなる。M5 Ultraモデルのメモリー帯域幅は1.2TB/秒で、大容量のメモリーと広い転送帯域を備える。

Appleは、このM5 Ultraモデルで大規模言語モデル(LLM)を端末内だけで実行できると説明している。AI推論の構成は単体で完結するものに加え、複数台を接続するものにも対応する。

Thunderbolt 5のRDMAで複数台を接続

両モデルはThunderbolt 5を備え、最大120Gb/秒の転送に対応する。この接続は高速な外部機器への接続だけでなく、Mac Studio同士を結ぶ経路にもなる。

複数台の接続には、遠隔のメモリーへ直接アクセスするRemote Direct Memory Access(RDMA)を利用する。Thunderbolt 5のRDMAによってMac Studioをクラスター化し、分散AI推論を行うことができる。

分散AI推論は単体比で最大3倍

Appleは、複数台を接続した分散AI推論の性能が、単体での実行と比べて最大3倍になるとしている。比較の対象は分散AI推論であり、Mac Studio全体のあらゆる処理が3倍になるという性能値ではない。