スマートフォン写真から体組成を推定する研究用AIが、成人677人の交差検証で腕時計センサーより小さい体脂肪率の推定誤差を示した。脂肪分布も推定するPhotoScanは、MRI由来の画像で学習したモデルを実際の写真へ適応させている。
写真から体脂肪率と脂肪の分布を推定する
Googleが開発した体組成推定AIのPhotoScanは、スマートフォンの2次元写真を入力に、体脂肪率と2種類の脂肪分布指標を推定する研究用の方式だ。出力する指標には、体幹と腰・太ももの脂肪分布を比較するA/G比と、内臓脂肪と皮下脂肪の面積比を表すV/S比が含まれる。
推定モデルは、画像認識モデルResNet-50を基盤とし、画像から得た特徴を性別、身長、体重、BMIと最終の全結合層で統合する。この統合した情報から、体脂肪率や脂肪分布の指標を確率密度として出力する。
MRI由来の画像で学び、実際のスマホ写真へ適応
事前学習では、英国の健康データ資源UK Biobankの35,323人分のデータを使った。ImageNetの重みで初期化したモデルに、3次元MRIから生成した正面・側面の2次元投影画像を入力し、二重エネルギーX線吸収測定法のDXAで得た体組成を正解データとして学習させた。
このモデルを写真入力へ適応させるため、学習・評価用のPhotoBIAコホートに含まれる成人677人のスマートフォン写真とDXA測定値を対応させ、5分割交差検証を用いて微調整した。学習データの拡充には、参加者を360度から撮影した動画も使い、身体の目印を自動検出して適した正面・側面のフレームを選んだ。
体脂肪率の誤差は腕時計による推定を下回った
Googleの評価では、PhotoBIAコホートの5分割交差検証で、PhotoScanの体脂肪率の平均絶対誤差は2.15パーセントポイントだった。比較対象となる腕時計の生体電気インピーダンス測定（BIA）に基づくモデルは2.91パーセントポイントで、写真を使う推定の方が誤差は小さかった。
微調整に使った集団とは別の検証用コホートMetabolicMosaicには、132人が含まれる。この独立した集団での平均絶対誤差は、体脂肪率が2.13パーセントポイント、A/G比とV/S比がそれぞれ0.085だった。
推定した体組成をインスリン抵抗性の分類へ渡す
写真から推定した体組成は、年齢・性別・BMIなどの属性情報と組み合わせ、インスリン抵抗性を判別する勾配ブースティング分類器の入力にした。この分類器をMetabolicMosaicコホートで評価し、未見データで繰り返し試験するとともに、各試験群のBMIとインスリン抵抗性の状態の分布を均衡させた。
Googleは、この臨床研究でPhotoScanの体組成推定値を使った予測が、DXAの体組成測定値を使う場合に近い精度を示したとしている。比較したのは、写真による体組成推定値とDXAの測定値を、それぞれインスリン抵抗性の分類に利用した場合の予測精度である。