複数の模擬ソーシャルメディアに散在する断片情報から、AIが同一人物のアカウントを照合し、人物を分類した。約3万7000語の標本では、Claude Mythos Previewが完全な評価を平均約11分で作成した。
断片情報を「find」と「fix」の能力へ分解
戦術的な情報標的化では、対象を見つけて人物像を組み立てる「find」と、対象を場所と時刻に結び付ける「fix」が連続する。後者は、追加の情報収集や活動妨害が可能になる精度で位置と時点を絞り込む処理を指す。
AnthropicのFrontier Red Teamは、この情報標的化と通常兵器開発に関するAIモデルの能力評価を開発した。人物を特定する前半の評価では、異なるオンライン上の人格を結び付け、得られた情報から対象との関係を分類する能力を測った。
4つの模擬プラットフォームから200件の照合課題を生成
人物同一性の照合には、WhatsApp、Telegram、Instagram、Facebookを模したモデル生成コンテンツを使った。複数の場所に残された投稿を組み合わせ、別々のアカウントが同一人物に属するかを判断させる構成である。
評価用パイプラインは、メキシコシティとコルカタを舞台にした2つの架空シナリオから200件の課題を生成した。証拠の少なさやアカウント数などに基づき、課題を易68件、中68件、難64件に分けた。
照合と人物分類をF1で同じ尺度に載せる
200件の課題は、プラットフォームをまたぐアカウント照合と、人物を関心カテゴリーへ振り分ける分類の二つに使われた。どちらも適合率と再現率の調和平均であるF1で採点し、正しい対応を拾う能力と誤った対応を避ける能力を一つの尺度で扱った。
アカウント照合では、Mythos Previewが易・中・難の全標本を通じて理論上の最大値との差を最も小さくした。生成パイプラインの性質上、完全な照合と特定は成立しにくいため、到達可能な上限との差で性能を比較している。
ノイズと秘匿性を増すとモデル間の差が拡大
Kimi K3は、易・中難度のアカウント照合でフロンティアモデルと同程度の性能を示した。一方、ノイズを増やし、対象人物が情報の結び付きを隠す難標本では性能が低下した。
人物分類の得点差はアカウント照合より圧縮されたが、順位はMythos Previewが最高、Sonnetが最低となった。Kimi K3は、分類では中位に位置したMythos 5およびOpus 5と同程度だった。
約3万7000語の評価を平均約11分で作成
難度を横断した標本の中央値は約3万7000語だった。Anthropicの比較では、人間の分析担当者がこの量を読むだけで約2.5時間かかり、内容を系統的に分析するにはさらに時間を要する。
Claude Mythos Previewは、中央値に相当する長さの標本について、完全な評価を平均約11分で作成した。人間との比較は読解時間とモデルによる評価作成時間で条件が異なるものの、大量の断片情報を短時間でまとめる処理速度を示している。
模擬データの限界を残したまま別の標的化工程へ拡張
模擬ソーシャルメディアデータには、冗長で人工的な表現や自然さの不足が残った。Anthropicは、この条件で得た結果を現実環境での絶対性能とはせず、評価対象モデル間の能力差を示唆するものと位置付けている。
「fix」に対応する写真の位置推定では、逆画像検索、位置メタデータ、外部ツールを与えず、モデル自身の世界知識だけで撮影場所を推定させた。同じ評価群で試したオープンウェイトモデルは全体としてフロンティアモデルに及ばず、Anthropicによると、その性能は通常SonnetクラスとMythosクラスの間だった。