氏名：Yu Takagi, Shinji Nishimoto, Koide Naoko, Takuya Matsuyama

所属：Graduate School of Frontier Biosciences Osaka University

概要：ディープラーニング技術の内部表現と、fMRIを用いて計測されたヒト脳活動との相同性を検証した。
fMRIデータとディープラーニング技術の内部表現に対して、エンコーディングモデルおよびデコーディングモデルを適用することによってそれらの相同性を包括的に検証した結果、ディープラーニング特徴量が各レイヤーごとに異なる形で脳活動の異なる部位と対応していることがわかった。また、ディープラーニング特徴量を活用することで脳活動からのデコーディング精度が向上することがわかった。

 

論文掲載,発表実績:
（国際会議会議録掲載論文）

• High-resolution image reconstruction with latent diffusion models from human brain activity
  Takagi Y, Nishimoto S
  The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023)