AI支援で特許文書の起草品質が上がっても、独力で修正する技能への効果は経験によって異なった。特許弁護士133人を対象とする3カ月の無作為化比較試験で、AIなしの修正得点の改善は経験7年以上の層に集中し、若手には平均的な改善が認められなかった。
3カ月のAIアクセスを事務所内で無作為に割り当てる
Googleは、知的財産を扱う11の法律事務所の弁護士133人を対象に、AI特許起草支援ツールへのアクセスを無作為に割り当てた。参加事務所はいずれもGoogleと継続的な取引関係にあり、その関係は非独占的だった。
各事務所の約3分の2が、Google Labs製の未公開ツールを早期に利用する介入群となった。残りの対照群にはAI利用の研修を行ったが、3カ月の実験が終わるまでこのツールへのアクセスを与えなかった。
起草ではAIを使い、修正では全員が独力で取り組む
参加者は10日後と90日後に、架空の発明資料から特許文書を起草した。2回の課題では異なる資料を使い、介入群には支援ツールや他のAIツールの利用を推奨した。
90日後には、内容と文体に誤りを含む架空の特許文書を修正する課題も加えた。この課題は全員がAIなしで取り組むため、AIを使って仕上げた成果とは別に、独力での修正能力を測定する評価となった。
第三者の特許専門家が、両課題を共通の5項目で採点した。評価対象は権利行使可能性、正確性、請求範囲を戦略的に定める曖昧さ、完全性、明瞭さで、文章の読みやすさに加えて特許としての品質も含めた。
起草品質は改善し、若手の作業時間も短縮
Googleの実験では、AIへのアクセスによる起草得点の改善幅は10日後に0.34標準偏差、90日後に0.38標準偏差だった。得点分布では低い得点の頻度が減り、良好な得点の頻度が増えた一方、卓越した得点の頻度には変化が認められなかった。
若手では、品質の改善に作業時間の短縮も伴った。10日後の起草課題で、AIアクセス群の所要時間は対照群の平均124分より18分短かった。
AIなしの修正では経験7年を境に効果が分かれた
起草中の改善に対し、90日後のAIなしの修正課題では経験による違いが現れた。経験7年以上の弁護士はAIアクセス群が対照群を0.45標準偏差上回ったが、経験7年未満の弁護士には平均的な得点改善が認められなかった。
若手の得点分布では、AIアクセス群は対照群に比べて非常に低い得点と良好な得点が多く、中程度の得点が少なかった。修正内容の観察では、深刻な欠陥を見つけても実際には直さず、指摘コメントだけを残す行動が両群で見られた。