AI
AI向けGPU接続網NVLink 6、信号訂正から推論復旧まで障害対策を多層化
GPU間通信網のNVLink 6は、信号誤りの訂正と再送から、制御系の冗長化、推論プロセスの切り替えまでを組み合わせて障害に対処する。NVIDI…
TOPIC
Dynamo
AI
視覚処理を分離したAI推論、画像の多い入力で初回出力まで一体型比最大5倍速く
画像を扱うAI推論で、視覚エンコードを言語モデルの処理から分離する構成が実装された。NVIDIAの測定では、画像の多い入力など適した条件で、初回…
AI
LLM推論で停止ワーカーの代替稼働を283秒から7.3秒に短縮
LLM推論エンジンの障害に備え、GPU上のモデル重みを共有する待機エンジンが事前に初期化される。NVIDIAの2ワーカー構成での測定では、1基の…
AI
GPUとコンテナの状態復元でAI推論ワーカーの起動を短縮
初期化済みのAI推論ワーカーを保存し、GPUとコンテナの状態を戻すことで、起動時の処理を省けるようにする。NVIDIAの初期試作「Dynamo …
AI
AIエージェントの推論要求に優先度を伝えるDynamoの新API
AIエージェントの実行側が知る要求の優先度や出力長を、推論基盤の判断に渡せるようになった。NVIDIAは推論基盤Dynamoにagent_hin…