ブラウザーAIが読み取ったページや画像の履歴を長く保ち、キャッシュで再利用する構成へ改めた。Asanaの試験では、同じAIモデルと履歴予算の下で、1回の平均推定モデル費用が1.97ドルから0.47ドルへ低下した。費用削減を支えたのは、履歴を毎ステップ削らず、まとめて整理する変更だ。
毎ステップの履歴整理がキャッシュの再利用を妨げていた
Asanaの業務自動化プラットフォームStackAIでは、コードを書かずにウェブサイトを移動し、フォームへ入力し、情報を集めるワークフローを構築できる。そのブラウザーAIは、操作に伴ってページのテキストやスクリーンショットを履歴へ蓄積する。
OpenAIが紹介したAsanaの検証では、変更前の構成は固定指示とツール定義をキャッシュする一方、閲覧履歴を各リクエストで通常料金の入力として再送していた。古い画像の削除やテキストの切り詰めもほぼ各ステップで履歴を変えていたため、履歴をキャッシュ対象へ追加するだけでは改善できなかった。
48万文字を保持し、画像は20枚ごとに整理する
最適化構成は閲覧履歴をキャッシュ対象へ加え、テキストを保持する予算を48万文字にした。スクリーンショットは20枚まで蓄積し、その時点で最新の1枚だけを残す。この削除方針により、削除と削除の間は既存の履歴が長く変わらずに保たれる。
Asanaはこの構成を選ぶため、4モデル、12万文字と48万文字の履歴予算、6種類のキャッシュ・画像管理方針を組み合わせて比較した。各条件を3回ずつ実行した計144回の試験では、公開デモ用カタログにある32冊の書籍から、それぞれ6項目を収集する同じタスクを使った。
モデルを変えない比較でも費用が約4分の1に
Asanaの試験結果としてOpenAIが示した数値では、AIモデルGPT‑6.1 Solを48万文字の履歴予算で動かした場合、キャッシュと画像管理方針の変更で平均推定モデル費用が1回1.97ドルから0.47ドルへ下がった。最適化構成では入力の89%がキャッシュから供給され、その部分には非キャッシュ入力の5%の料金が適用された。
元の本番構成で別のモデルであるModel Bを使った場合、平均推定モデル費用は少なくとも36.21ドルだった。OpenAIが示す76倍の費用差は、この構成と最適化後のGPT‑6.1 Solを比べた値で、モデルの変更も含む。平均実行時間も、元の構成の少なくとも22.5分から約4分となった。元の構成にはステップ上限で終了した実行が含まれるため、費用と時間の基準値はいずれも下限だ。
履歴の保持量を増やすと18回すべてで正答
履歴を保持する量は、回答まで到達できるかどうかにも関わった。GPT‑6.1 Solでは、12万文字の予算で回答を出した実行は18回中3回だったが、48万文字では18回すべてが回答を返し、その回答はすべて正しかった。この集計は複数のキャッシュ・画像管理方針を含む履歴予算の比較だ。
この書籍情報収集タスクでは、費用だけでなく回答の完了にも差が出た。Asanaは、最適化した履歴管理をStackAIのブラウザー操作へリリースした。