スライド生成AIの処理をPCとクラウドに分けるChatPPTの新構成では、複雑な生成をクラウドに残し、小規模な変更をPCで実行する。Intelが示した比較では、クラウド計算用トークン費が従来のクラウド版より50％超減少した。
スライド生成と細かな編集で処理先を分ける
ChatPPTのスライド生成AIは、従来すべての処理をクラウドで行っていた。ChatPPTとIntelが提供する「Intel AI PC Edition」はPCとクラウドを併用し、処理の規模によって実行先を分ける。
50ページのスライドを生成するような複雑な作業にはクラウドの計算能力を使う。一方、スライドの文字サイズや色を変えるような小規模な作業はPC上で実行する。
端末内推論基盤に文書生成と追跡の処理を配置する
処理の分担にはIntelの「AI Super Builder V2.8」を使う。その端末内推論基盤によって、処理の経過を追うLogilinerモデルと文書生成エージェントをPC上へ配置した。
PCで動く処理は、文書作成に伴うデータを端末内で扱う経路にもなる。Intelによると、この構成では機密データをクラウドへ送信せずに扱えるという。
複数モデルを圧縮してPC上の推論を速める
PC上では、計画、生成、追跡に使う複数のモデルが動く。ChatPPTとIntelは、これらのモデルをPCで実行するため、推論最適化ツールのOpenVINOでモデルを圧縮した。
ChatPPTの責任者によると、この圧縮によって推論が高速化した。端末内へ配置した処理を、複数モデルが動くPC上で実行するための対応である。
クラウド版との比較でトークン費と利用時間が変化
PCとクラウドを併用した結果について、Intelは従来のクラウド版との比較を示した。Intel AI PC Editionのクラウド計算用トークン費は50％超減少したという。
同じ比較で、ツールの利用時間は32％超増加した。これらはIntelが示したChatPPTの比較結果であり、処理を分担する構成の利用状況を示している。