コード生成モデルに対話データを追加学習させ、プログラミングの質問に応答するStarChatが公開された。長い対話例を毎回入力する方法に加え、モデル自体を対話向けに適応させる実装で、デモに使ったコード、データセット、モデルも公開されている。
8,192トークンの入力枠に対話例を収める
対話化の土台となるコード生成モデルStarCoderは、BigCodeが80を超えるプログラミング言語などに由来する1兆トークンで学習したモデルだ。8,192トークンのコンテキストウィンドウを備え、プログラミングの質問と回答の例を入力へ含めることで、追加学習なしでも対話アシスタントとして利用できる。
回答を継ぎ足す方式では毎回長い入力を処理する
対話例を使う方式では、モデルが生成した回答をプロンプトへ連結し、次の質問でも全体を入力する。この処理を会話の各ターンで繰り返すため、Hugging Faceは、毎回数千トークンを処理する推論コストが負担になり得ると説明している。
対話形式をそろえてモデルを追加学習する
StarChatは、長い対話例をプロンプトへ入れる方法に代わる選択肢として、StarCoderを対話データで追加学習したモデルだ。学習データには、人間とアシスタントのメッセージを構造化するChatML形式を使う。追加学習は、モデル開発ライブラリーのTransformersと、分散学習手法のDeepSpeed ZeRO-3を利用して行う。
応答を試すデモと学習用の成果物を公開
Hugging Faceは、追加学習したモデルへプログラミングの質問を入力できるデモを用意した。デモに使用したコードに加え、対話データセットとモデルも公開しており、応答を試す入口と、そのモデルを作るために使った成果物を提供している。