AIエージェント用の隔離実行環境を作る試験で、Xeon 6990E+搭載環境は約313件の同時要求まで平均作成遅延200ミリ秒未満を維持した。Intelの測定で、コード実行に先立つ環境準備の処理能力を比較した結果だ。
コード実行は隔離環境の準備を待つ
AIエージェントが隔離された環境でコードを実行するには、まずサンドボックスと呼ぶ実行環境を作成し、初期化する必要がある。Intelが扱った一般的な実行の流れでは、この準備がコード実行やツール呼び出しに先立つため、環境作成の時間がタスク開始までの待ち時間に関わる。
要求を受けて環境が作成されると、タスクを実行し、結果を返してから環境を破棄する。この作成から破棄までの流れが、複数のエージェントの処理に伴って繰り返される。
作成要求を100件から350件へ増やす
Intelは、隔離実行環境を提供するCubeSandboxに対し、ベンチマークツールcube-benchの作成・削除ワークロードを実行した。この処理はCubeSandbox APIへ作成要求を継続的に送り、同時要求数を増やすことで、環境準備が集中した際の応答を測る。
比較グラフの負荷範囲は100～350件の同時作成要求で、評価対象は環境作成にかかる平均遅延だった。利用可能な環境を届ける応答時間の目標を200ミリ秒に置き、その範囲に収まる同時要求数を比較した。
CPUは各1基、コア数とメモリー速度は異なる
比較対象は、サーバーCPUのXeon 6990E+、Xeon 6980P、AMD EPYC 9965をそれぞれ1基搭載した環境だ。コア数は順に288、128、192で、搭載CPUの数を揃えた構成でも、処理を担うコア数は異なる。
メモリー容量はすべて768GBだった。動作速度はXeon 6990E+とEPYC 9965の環境が6,400MT/s、Xeon 6980Pの環境が8,800MT/sであり、結果はこうした構成を含む搭載環境同士の比較となる。
200ミリ秒の境界は約246件から約313件へ広がる
Intelの測定では、Xeon 6990E+搭載環境は約313件、Xeon 6980P搭載環境は277件の同時作成要求まで、平均遅延200ミリ秒未満を維持した。EPYC 9965搭載環境は約246件でこの境界を超えた。
この境界で比較した同時要求数は、EPYC 9965搭載環境に対し、Xeon 6990E+搭載環境で約27％、Xeon 6980P搭載環境で約12％多かったとIntelはしている。差が確認されたのは、タスクを実行するための隔離環境を作成する段階の処理能力だ。