AI
AI基盤の動的電力配分、固定電力枠でトークン処理量を24%増加
GPUとラックの消費電力に応じて電力余力を再配分することで、固定電力枠内のAI推論処理量が増加した。Lambdaの検証では、19ノードを16ノー…
TOPIC
AI推論
AI
顧客データを学習・推論に使わないCRM推論モデル、Salesforceが自社基盤で稼働
CRM推論モデルKoaは、顧客データを学習にも推論にも使わず、Salesforceのシステム内で稼働する。合成CRMデータによる追加学習と自社管…
AI
AI向けGPU接続網NVLink 6、信号訂正から推論復旧まで障害対策を多層化
GPU間通信網のNVLink 6は、信号誤りの訂正と再送から、制御系の冗長化、推論プロセスの切り替えまでを組み合わせて障害に対処する。NVIDI…
Semiconductor
データセンターからエッジまで、3種類のプロセッサで役割を分けるAI基盤設計
Intelは、データセンターのオーケストレーション、AI推論、端末・エッジ処理を、CPU、GPU、SoCの3アーキテクチャへ割り当てた。
AI
AI推論基盤NIM、4基のB200で総出力速度が最適化前の2.5倍超
AIモデルの推論で、利用者ごとの応答速度を保ちながらシステム全体の出力を増やす構成が示された。NVIDIAの測定では、Nemotron 3 Ul…
AI
タンパク質二量体の構造予測、GPU時間当たりの予測済み残基数が公開実装の2.9倍
生体分子の構造予測で、モデル内部のGPU演算と多数の入力を流す処理経路を高速化する推論基盤が登場した。NVIDIAの比較では、タンパク質二量体1…
AI
視覚処理を分離したAI推論、画像の多い入力で初回出力まで一体型比最大5倍速く
画像を扱うAI推論で、視覚エンコードを言語モデルの処理から分離する構成が実装された。NVIDIAの測定では、画像の多い入力など適した条件で、初回…
AI
家庭内の複数PCにAI推論を振り分けるルーター「PAIR」
独立したAI推論要求を家庭内の複数端末へ振り分けるルーター「PAIR」をNVIDIAが公開した。既存のローカル推論インターフェースを使い、各要求…