AI
LLMのAttentionで参照データの共有を増やしても、入力処理時間はほぼ変わらず
LLMのAttentionでKVヘッドを共有するクエリーヘッド数を増やしても、入力処理時間はほぼ変わらない。NVIDIAの測定では共有数を1から…
TOPIC
KVキャッシュ
AI
AIエージェントの推論要求に優先度を伝えるDynamoの新API
AIエージェントの実行側が知る要求の優先度や出力長を、推論基盤の判断に渡せるようになった。NVIDIAは推論基盤Dynamoにagent_hin…