AI

AIモデルSonnet 5、検索・PC操作の評価で前世代を上回る

この記事のポイント

  1. 実現したこと

    AIモデルのSonnet 5は、計画を立ててブラウザーやターミナルを使い、自律的に作業できるとAnthropicは説明している。

  2. 実現の仕組み

    処理にかける労力を調整するeffort設定で、コストと性能のバランスを選べる。

  3. 得られた結果

    Anthropicの評価では、高いeffort設定で一部のタスクの性能が上位モデルのOpus 4.8に並んだ。

  4. 従来との違い

    FreeとProプランの標準モデルが、Sonnet 4.6からSonnet 5へ切り替わった。

明るい机の中央に無地の画面のノートPCがあり、左側では虫眼鏡が図形だけの紙片に重なり、右側にはキーボードと順序を示すカードが並ぶ編集イラスト。
AI生成画像

AIモデルのClaude Sonnet 5が、検索とPC操作の評価で前世代のSonnet 4.6を上回った。Anthropicの評価では、処理にかける労力を高く設定すると、一部のタスクで上位モデルのOpus 4.8に並ぶ性能を示した。

計画からブラウザー・ターミナルの操作へ

Anthropicは、Claude Sonnet 5が作業計画を立て、ブラウザーやターミナルなどのツールを使って自律的に処理を進められるとしている。計画だけを生成するのではなく、ツールを操作して作業を実行する能力を備える。

検索とPC操作で性能を比較

ツールを使う能力について、Anthropicは検索評価のBrowseCompとPC操作評価のOSWorld-Verifiedでモデルを比較した。Sonnet 5は、いずれの比較でもSonnet 4.6を上回った。

比較には、処理にかける労力を調整するeffort設定も用いた。利用者は設定によってコストと性能のバランスを選択でき、高い設定では一部のタスクでSonnet 5がOpus 4.8に並ぶ性能を示した。

望ましくない振る舞いも前世代と比較

自律的な作業の評価と併せて、Anthropicは安全性も評価した。Sonnet 5では、望ましくない振る舞いの発生率がSonnet 4.6より全体として低かった。

標準モデルを更新し、APIでも提供

FreeとProプランでは、Sonnet 4.6が公開時から標準モデルを担っていた。今回、その標準モデルがSonnet 5へ切り替わり、Max、Team、Enterpriseでも利用可能になった。

開発者向けにはClaude APIで提供する。モデル識別子にclaude-sonnet-5を指定して呼び出すことができる。