AI

コード生成AI「StarCoder」、入力の工夫で関数生成の正答率40.8%に

この記事のポイント

  1. 実現したこと

    コード生成AIのStarCoderは、対話例を入力するとプログラミング関連の依頼に応答する技術アシスタントとして動作する。

  2. 実現の仕組み

    80を超える言語などで学習した約150億パラメーターの基盤モデルに、350億トークンのPythonデータで追加学習を施した。

  3. 得られた結果

    BigCodeの評価では、解答の実装を促す入力によって、Python関数生成テストHumanEvalのスコアが33.6%から40.8%へ上がった。

  4. 従来との違い

    モデルの重みと、データ前処理・学習のコードが、それぞれOpenRAILとApache 2.0のライセンスで公開された。

多言語のコードを表す紙の束からPythonの関数用シートへ移り、対話例を表す小さなカードが未完成の関数を完成形へ導く様子を描いた編集イラスト。
AI生成画像

コード生成AIのStarCoderは、解答の実装を促す入力を加えると、Python関数生成テストHumanEvalのスコアが33.6%から40.8%へ上がった。多言語の基盤モデルにPythonの追加学習を施し、モデルの重みと学習コードも公開した。

多言語の基盤モデルにPythonを追加学習

コード生成モデルのStarCoderは、多言語で学習した基盤モデルStarCoderBaseに、Pythonのデータで追加学習を施して構築された。開発を担うBigCodeは、Hugging FaceとServiceNowが共同で主導する科学研究の協働体だ。

基盤モデルは約150億パラメーターを持ち、80を超えるプログラミング言語などのデータを1兆トークン学習した。そのモデルに350億トークンのPythonデータを追加で学習させたものが、StarCoderとなる。

解答を促す入力でHumanEvalのスコアが上昇

Python関数生成の評価には、関数のシグネチャと説明文から実装を完成させるHumanEvalを用いた。BigCodeの評価では、StarCoderのスコアは33.6%で、解答の実装を促すプロンプトを加えると40.8%に上がった。

この数値は、プロンプトを加えた条件での結果だ。別のコード生成ベンチマークMBPPでは、通常の条件が52.7%、プロンプトを加えた条件が49.5%となり、入力変更による改善は評価によって異なった。

対話例を入力して技術アシスタントとして動作

StarCoder系列のモデルは、8,000トークンを超えるコンテキスト長に対応する。コードだけでなく、対話例を含む入力も与えることができる。

BigCodeは、対話例を並べたプロンプトを使い、プログラミング関連の依頼に応答する技術アシスタントとしてモデルを動作させた。この動作には、対話例を入力に含める方法を用いている。

学習データの選定とモデル・コードの公開

学習には、コードデータセットThe Stack 1.2の一部を使用した。対象は許諾条件の緩やかなライセンスのコードで、コード提供者が自分のデータの除外を申請する仕組みもある。

BigCodeは、モデルの重みをOpenRAILライセンスで公開した。データ前処理と学習に使ったコードには、Apache 2.0ライセンスを適用している。