分子構造からNMRのピーク位置を予測する20化合物の比較で、汎用AIのOpus 4.7が水素の予測誤差を最小にした。Anthropicの評価では平均絶対誤差が0.079 ppmとなり、炭素でも専用ソフトとほぼ同等の結果を示した。
学習締め切り後の20化合物で比較
Anthropicは、核磁気共鳴(NMR)スペクトルの予測能力を、AIモデルと化学分野の専用ソフトで比較した。対象はClaudeのOpus 4.7、Opus 4.6、Sonnet 4.6と、NMR予測に使うChemDraw、MestReNovaである。
評価に使った20化合物は、モデルの学習締め切り後に公開された合成化学のプレプリントから選んだ。異なるNMR予測上の課題を含む4つの構造群について、各5化合物を比較対象にした。
分子構造と溶媒からピーク位置を予測
各ツールへの入力には、分子構造を1行の文字列で表すSMILESを使った。その構造から、水素と炭素の1次元NMRスペクトルで各ピークが現れる位置を予測させた。
予測する位置は化学シフトと呼ばれ、ppmで表す。ピーク位置は試料を溶かす溶媒によっても変わるため、各ツールには元の実験と同じ溶媒を指定した。
AIの出力の揺れを3回の実行で扱う
Claudeは実行ごとに出力が変わるため、各モデルを化合物ごとに3回実行し、その結果を平均した。ChemDrawとMestReNovaは同じ入力に同じ結果を返すため、各1回の実行で比較した。
予測後は、それぞれのピークを対応する実験ピークと組み合わせ、位置の差を測った。許容範囲は水素が±0.20 ppm、炭素が±1.0 ppmで、元素ごとに異なる基準を使った。
水素は誤差最小、炭素は専用ソフトとほぼ同等
Anthropicの測定では、Opus 4.7の水素の化学シフトの平均絶対誤差は0.079 ppmだった。これは比較した5ツールの中で最小であり、水素に設定した許容幅の0.20 ppmの半分を下回った。
炭素の平均絶対誤差はOpus 4.7が1.37 ppm、MestReNovaが1.48 ppmで、Anthropicはほぼ同等と評価している。水素と炭素で結果を分けると、今回の20化合物では、水素で最も高い精度を示し、炭素では専用ソフトに近い誤差となった。