AI

Tencentの言語AI、自己最適化で推論処理量が基準比31.8%増

この記事のポイント

  1. 実現したこと

    大規模言語モデルHy4 previewは、自身の推論システムのボトルネックを自律的に分析したとTencentが報告した。

  2. 実現の仕組み

    開発工程では、モデルが提案・実験を行い、得られたコードやログ、フィードバックを次の探索へ戻した。

  3. 得られた結果

    Tencentの測定では、推論基盤の最適化によって、処理全体のスループットが基準比31.8%向上した。

  4. 従来との違い

    Hy4 previewは、自身の学習手法やデータ戦略、評価の枠組み、低レベル演算の自動最適化に初めて参加した。

明るいサーバー設備の中で、分析モジュールへ処理結果が戻る経路と、複数の演算ブロックをまとめた処理段階が描かれている。最適化された段階からは小さなタイルが流れ出している。
AI生成画像

言語モデルが自身の推論システムを分析し、演算や通信の最適化を繰り返した。Tencentが公開した大規模言語モデルHy4 previewは、自身の開発工程にも参加したという。推論基盤の最適化では、処理全体のスループットが基準比31.8%向上したと報告している。

100万トークン超を扱うモデルを公開

大規模言語モデルHy4 previewは、総パラメーター数7700億、アクティブパラメーター数490億の構成を持つ。Tencentはこのモデルを公開し、オープンソース化した。

コンテキストウィンドウは100万トークンを超える。この規模のモデルは、利用者の作業を処理するだけでなく、自身を開発する工程の最適化にも参加したという。

実験のコードとログを次の探索へ戻す

Tencentによると、モデルが初めて参加した自動最適化の対象は、学習手法、データ戦略、評価の枠組み、低レベル演算に及ぶ。モデルは手法の提案から実験の実行へ進み、得られた結果に基づいて反復した。

実験で生じたコード、ログ、フィードバックは、次の探索へ入力された。Tencentは、この循環を初期段階の再帰的な自己改善ループと位置付けている。

自身の推論で演算と通信を最適化

開発工程への参加に加え、Hy4 previewは自身の推論システムも最適化の対象にした。Tencentによると、モデルがボトルネックを自律的に分析し、改善を繰り返したという。

最適化の対象には、演算の融合や通信の最適化が含まれる。これらについて複数回の最適化を実施し、推論基盤の処理量を改善したとしている。

処理全体のスループットが31.8%向上

Tencentの測定では、推論基盤への変更によって、エンドツーエンドのスループットが基準比31.8%向上した。改善の対象は、推論処理全体を通した単位時間当たりの処理量である。

改善は、異なるコンテキスト長と同時実行数でも一貫して得られたという。31.8%という数値は基準との比較結果であり、各条件でそれぞれ同じ向上率が得られたとは示されていない。