AI
動画生成AIの所要時間、GPU1基の156.6秒から8基で34.2秒に
動画生成AIの重いTransformer処理を、1つの推論窓口から複数GPUへ分散できるようになった。NVIDIAの測定では、動画1件の生成時間…
TOPIC
TensorRT
AI
JetsonのAIエージェント推論、参照実装の6.4倍速で1007ターンを完了
エッジ端末で会話履歴を引き継ぐAIエージェントの推論時間が短縮された。NVIDIAのTensorRT Edge-LLMは、Jetson AGX …
AI
公開AIモデルのC++推論、構築と実行をバンドルで分離
対応する公開AIモデルのチェックポイントから実行用バンドルを作り、C++アプリケーションでTensorRT推論を動かす経路が用意された。構築には…
AI
AI開発エージェント製の内視鏡画像分割アプリ、描画処理量が50.5％向上
内視鏡映像から器具を分割するアプリを、AI開発エージェントが既存モデルを再利用して構築した。NVIDIAは、段階的な測定と最適化により、描画処理…
AI
AI推論ソフトTensorRT 11.0、GPU間通信を統合して複数GPUで実行
AI推論ソフトのTensorRT 11.0は、GPU間の集合通信を実行系に組み込み、複数GPUでの推論に対応した。モデルの重みを分ける方法に加え…
AI
UE5のAI画像加工、RTX 5090でDirectMLの5.7ミリ秒を3.8ミリ秒に短縮
Unreal Engine 5のAI画像加工で、TensorRT for RTXを推論ランタイムに選べるようになった。NVIDIAのRTX 50…