コード生成AIのStarCoderは、解答の実装を促す入力を加えると、Python関数生成テストHumanEvalのスコアが33.6%から40.8%へ上がった。多言語の基盤モデルにPythonの追加学習を施し、モデルの重みと学習コードも公開した。
多言語の基盤モデルにPythonを追加学習
コード生成モデルのStarCoderは、多言語で学習した基盤モデルStarCoderBaseに、Pythonのデータで追加学習を施して構築された。開発を担うBigCodeは、Hugging FaceとServiceNowが共同で主導する科学研究の協働体だ。
基盤モデルは約150億パラメーターを持ち、80を超えるプログラミング言語などのデータを1兆トークン学習した。そのモデルに350億トークンのPythonデータを追加で学習させたものが、StarCoderとなる。
解答を促す入力でHumanEvalのスコアが上昇
Python関数生成の評価には、関数のシグネチャと説明文から実装を完成させるHumanEvalを用いた。BigCodeの評価では、StarCoderのスコアは33.6%で、解答の実装を促すプロンプトを加えると40.8%に上がった。
この数値は、プロンプトを加えた条件での結果だ。別のコード生成ベンチマークMBPPでは、通常の条件が52.7%、プロンプトを加えた条件が49.5%となり、入力変更による改善は評価によって異なった。
対話例を入力して技術アシスタントとして動作
StarCoder系列のモデルは、8,000トークンを超えるコンテキスト長に対応する。コードだけでなく、対話例を含む入力も与えることができる。
BigCodeは、対話例を並べたプロンプトを使い、プログラミング関連の依頼に応答する技術アシスタントとしてモデルを動作させた。この動作には、対話例を入力に含める方法を用いている。
学習データの選定とモデル・コードの公開
学習には、コードデータセットThe Stack 1.2の一部を使用した。対象は許諾条件の緩やかなライセンスのコードで、コード提供者が自分のデータの除外を申請する仕組みもある。
BigCodeは、モデルの重みをOpenRAILライセンスで公開した。データ前処理と学習に使ったコードには、Apache 2.0ライセンスを適用している。