AI
IntelのAI推論向け新GPU、160GBのLPDDR5Xメモリーを搭載へ
AI推論向けデータセンターGPU「Crescent Island」の設計に、160GBのLPDDR5XメモリーとXe3Pマイクロアーキテクチャが…
TOPIC
AI推論
AI
人型ロボットRoBee、音声と推論を機体内で処理
人型ロボットRoBeeは、音声理解・生成、推論、一部の視覚処理を機体内で実行する。Intel Core Ultra Series 3を搭載し、I…
AI
ロボットのAI推論を機外GPUへ移し、物体受け渡し成功率が向上
ロボットのAI推論を機体内のGPUから機外へ移すと、物体受け渡しの成功率が向上した。Microsoftは、移動と物体操作を伴う作業で推論の実行場…
AI
MLPerfで同じXeon 6構成のLlama推論が2.4倍、ソフトウェア最適化だけで向上
同じIntel Xeon 6のシリコンとソケット数を維持したまま、Llama 3.1 8BのServerスループットが2.4倍になった。Inte…
AI
LLM推論の負荷試験ツールAIPerf、測定処理を複数プロセスに分離
LLM推論の負荷試験ツールAIPerfは、要求の送信と結果の処理を複数プロセスへ分ける構成になった。NVIDIAは、測定クライアント側が高い同時…
AI
JetsonのAIエージェント推論、参照実装の6.4倍速で1007ターンを完了
エッジ端末で会話履歴を引き継ぐAIエージェントの推論時間が短縮された。NVIDIAのTensorRT Edge-LLMは、Jetson AGX …
AI
生体分子AIモデル30超を平均約4倍に高速化、Claudeが4週間弱で推論を最適化
生体分子の構造予測やタンパク質設計に使う30超のAIモデルで、推論処理が平均約4倍に高速化した。Claudeは高負荷なGPU演算とモデル固有の無…
AI
AI推論チップの電圧低下を60％超抑制、実行順序の事前計画を電力制御に活用
AI推論用アクセラレーターのGroq 3 LPXは、演算とデータ移動の時刻を事前に決め、その予定を電力制御にも使う。NVIDIAのシステム内試験…