AI
MoE学習レシピ、8基のB200でHugging Face実装の最大2.21倍の処理量
MoEモデルの学習で、Expertごとに分かれていた演算をまとめ、低精度計算と演算融合につなぐレシピが示された。NVIDIAの8基のB200によ…
TOPIC
MoEモデルの学習で、Expertごとに分かれていた演算をまとめ、低精度計算と演算融合につなぐレシピが示された。NVIDIAの8基のB200によ…
B200の機密計算下で、LLM推論のデータ転送とカーネル計測を保護された実行経路に合わせた。NVIDIAが8基のB200で測定した出力トークン処…
AIモデルの推論で、利用者ごとの応答速度を保ちながらシステム全体の出力を増やす構成が示された。NVIDIAの測定では、Nemotron 3 Ul…