Claudeの実利用を、会話原文を外部へ渡さずに研究する試行が行われた。外部3研究機関が課題を自ら設計し、集計結果を独立して分析した。利用者による作業の委任や、応答に伴う反応などの初期結果も得られている。
外部3機関が研究課題を設計した利用分析
Anthropicは、社内でClaudeの利用傾向を調べるプライバシー保護型ツールAnthropic Insightsを、外部研究者による試行に用いた。スタンフォード大学、オックスフォード大学、非営利団体METRの各研究機関が課題を自ら設計し、Anthropicによるデータ収集を経て独立して分析した。
各機関が対象としたのは、2026年4～5月のClaude.aiまたはClaude Codeの会話約25万件だ。研究課題を外部側が決めることで、AIの提供企業が設定した問いに限らず、実利用の傾向を調べる形になった。
会話原文を渡さず集計結果を共有
Anthropic Insightsを使った分析では、外部研究者が会話原文にアクセスすることはなかった。研究者が受け取ったのは、Anthropicの社内研究と同じ法務・プライバシー審査を経た集計結果だけだった。
Anthropicは、第三者研究者と共有した全データについて追加のプライバシー監査も実施した。この手順により、研究者が独自の問いを立てる工程と、利用者の会話を保護するためのデータ提供工程が分かれている。
影響の大きい作業もAIへ委任
スタンフォード大学のSocial and Language Technologies Labは、人とAIが仕事をどう分担するかを調べた。分析対象のClaudeの会話では、半数超で利用者が、他者への影響が大きい、または取り消しにくい作業をAIに任せていたという。
一方、会話の4分の3近くでは利用者が作業の方向を決め、Claudeがそれを補助していた。影響の大きい作業を任せる例が多いという結果と、利用者が作業を主導する例が多いという結果は、委任する作業の性質と対話中の役割分担をそれぞれ示している。
AIの応答と利用者の反応に見られた組み合わせ
オックスフォード大学のHuman Information Processing Labは、Claudeを使う人の感情とAIの振る舞いの関係を調べている。初期結果では、Claudeの温かい応答と利用者の肯定的な反応が、会話内で併せて見られた。
Claudeによる拒否や反論も、利用者の反発と併せて見られた。これらは会話内で観察された組み合わせであり、応答が利用者の反応を引き起こしたと確かめた結果ではない。
コード作業の時間比較と集計データの公開
非営利団体METRは、Claude Codeの会話から、AIを使わなければ必要だったとClaudeが推定した時間と、異なるClaudeモデルで実際にかかった時間を比較した。その暫定結果は、新しいモデルが古いモデルより作業時間を大きく短縮する可能性を示している。
Anthropicは、METRを含む3研究課題それぞれの集計データを公開した。外部研究者が会話原文を受け取らずに得た分析結果を、公開された集計データでも確認できる形にしている。