AI
LLMの先読み生成、GPUの処理特性から候補トークン数を決める指針
LLMの投機的デコードで先読みするトークン数について、NVIDIAはGPU上の行列演算とAttentionの処理特性に基づく選定指針を示した。候…
TOPIC
AI推論
Technology
Jetsonの推論モデルで最大6.28倍のデコード高速化
Jetson上の推論モデルにNVFP4量子化と投機的デコーディングを重ね、処理負荷と検証回数を同時に減らす構成が示された。NVIDIAの測定では…
AI
公開AIモデルのC++推論、構築と実行をバンドルで分離
対応する公開AIモデルのチェックポイントから実行用バンドルを作り、C++アプリケーションでTensorRT推論を動かす経路が用意された。構築には…
Technology
100万トークンのAttentionカーネルで全領域参照比最大7.6倍のプリフィル高速化
履歴を固定サイズへ圧縮し、必要な領域だけをブロック単位で参照する長文AIモデルが登場した。100万トークン条件の公開ベンチマークでは、Atten…
AI
LLM推論で停止ワーカーの代替稼働を283秒から7.3秒に短縮
LLM推論エンジンの障害に備え、GPU上のモデル重みを共有する待機エンジンが事前に初期化される。NVIDIAの2ワーカー構成での測定では、1基の…
AI
AI推論基盤Vera Rubin、電力当たり処理量はGB300の最大30倍
AIエージェントの作業記録を再生する評価で、推論基盤Vera Rubin NVL72がGB300 NVL72の最大30倍のメガワット当たり処理量…
AI
ロボット上で動く制御AI、2.13秒分の指令を約1.53秒で生成
ロボット制御用に追加学習した40億パラメータのAIモデルが、Jetson AGX Thor上で約2.13秒分の動作指令を約1.53秒で生成した。…
AI
モデル更新なしで推論経験を再利用可能な知識へ変えるテスト時学習
推論中の成功と失敗をスキルや洞察として抽出し、後続タスクで使える知識へ更新するテスト時学習が開発された。EvoLibは正解ラベルやモデル更新を使…