言語モデルが自身の推論システムを分析し、演算や通信の最適化を繰り返した。Tencentが公開した大規模言語モデルHy4 previewは、自身の開発工程にも参加したという。推論基盤の最適化では、処理全体のスループットが基準比31.8%向上したと報告している。
100万トークン超を扱うモデルを公開
大規模言語モデルHy4 previewは、総パラメーター数7700億、アクティブパラメーター数490億の構成を持つ。Tencentはこのモデルを公開し、オープンソース化した。
コンテキストウィンドウは100万トークンを超える。この規模のモデルは、利用者の作業を処理するだけでなく、自身を開発する工程の最適化にも参加したという。
実験のコードとログを次の探索へ戻す
Tencentによると、モデルが初めて参加した自動最適化の対象は、学習手法、データ戦略、評価の枠組み、低レベル演算に及ぶ。モデルは手法の提案から実験の実行へ進み、得られた結果に基づいて反復した。
実験で生じたコード、ログ、フィードバックは、次の探索へ入力された。Tencentは、この循環を初期段階の再帰的な自己改善ループと位置付けている。
自身の推論で演算と通信を最適化
開発工程への参加に加え、Hy4 previewは自身の推論システムも最適化の対象にした。Tencentによると、モデルがボトルネックを自律的に分析し、改善を繰り返したという。
最適化の対象には、演算の融合や通信の最適化が含まれる。これらについて複数回の最適化を実施し、推論基盤の処理量を改善したとしている。
処理全体のスループットが31.8%向上
Tencentの測定では、推論基盤への変更によって、エンドツーエンドのスループットが基準比31.8%向上した。改善の対象は、推論処理全体を通した単位時間当たりの処理量である。
改善は、異なるコンテキスト長と同時実行数でも一貫して得られたという。31.8%という数値は基準との比較結果であり、各条件でそれぞれ同じ向上率が得られたとは示されていない。