新型デスクトップMac Studioは、最大512GBのメモリーで端末内のLLM実行に対応し、Thunderbolt 5経由で複数台を接続した分散AI推論も可能になった。Appleは分散時の性能を単体比で最大3倍としている。
GPUの各コアにAI演算向けのアクセラレーター
Appleが発売した新型デスクトップMac Studioには、M5 Max搭載とM5 Ultra搭載の2モデルがある。M5 Maxモデルは最大40コアのGPUを備え、各コアにAI演算向けのNeural Acceleratorsを組み込む。
M5 UltraモデルではGPUが最大80コアとなる。単体の計算構成に加え、モデルごとに対応するメモリー容量も異なる。
最大512GBのメモリーで端末内のLLM実行に対応
ユニファイドメモリーの上限は、M5 Maxモデルが128GB、M5 Ultraモデルが512GBとなる。M5 Ultraモデルのメモリー帯域幅は1.2TB/秒で、大容量のメモリーと広い転送帯域を備える。
Appleは、このM5 Ultraモデルで大規模言語モデル(LLM)を端末内だけで実行できると説明している。AI推論の構成は単体で完結するものに加え、複数台を接続するものにも対応する。
Thunderbolt 5のRDMAで複数台を接続
両モデルはThunderbolt 5を備え、最大120Gb/秒の転送に対応する。この接続は高速な外部機器への接続だけでなく、Mac Studio同士を結ぶ経路にもなる。
複数台の接続には、遠隔のメモリーへ直接アクセスするRemote Direct Memory Access(RDMA)を利用する。Thunderbolt 5のRDMAによってMac Studioをクラスター化し、分散AI推論を行うことができる。
分散AI推論は単体比で最大3倍
Appleは、複数台を接続した分散AI推論の性能が、単体での実行と比べて最大3倍になるとしている。比較の対象は分散AI推論であり、Mac Studio全体のあらゆる処理が3倍になるという性能値ではない。