AI
小型モデルの先読みを一括検証し、言語モデルの生成を高速化
小型モデルに続きの文章を先読みさせ、大きなモデルがまとめて検証する生成方式「Assisted Generation」が利用できるようになった。候…
TOPIC
小型モデルに続きの文章を先読みさせ、大きなモデルがまとめて検証する生成方式「Assisted Generation」が利用できるようになった。候…
コード生成モデルに対話データを追加学習させ、プログラミングの質問に応答するStarChatが公開された。長い対話例を毎回入力する方法に加え、モデ…
コード生成AIのStarCoderは、解答の実装を促す入力を加えると、Python関数生成テストHumanEvalのスコアが33.6%から40.…
200億パラメーターの言語モデルの強化学習を、メモリー24GBのGPUで実行できるようになった。8ビット化と小規模アダプターの学習に加え、学習用…