所属：大阪大学サイバーメディアセンター

概要：現実の画像データ(MNIST)を学習する深層ニューラルネットワークについて大規模なシミュレーションを行い、統計力学的な観点からの解析を行った。
数千エポックの長時間ダイナミックスを観測し、(1)SGDによって初期条件によらない定常状態が実現すること(2) 理論的に予言された学習の空間的不均一性(H. Yoshino (2020), (2023))を強く示唆する結果を得た。本研究は大阪大学大学院理学研究科物理学専攻 織戸悠輔氏(M2)との共同研究である。

論文掲載,発表実績:
（学術雑誌掲載論文）

• Hajime Yoshino, “Spatially heterogeneous learning by a deep student machine”, Phys. Rev. Research 5, 033068 (2023).

（その他）

• 織戸悠輔, 吉野元「画像データを用いた深層学習における隠れ層のレプリカ相関」 日本物理学会第78回年次大会 2023年9月 東北大学
• 織戸悠輔, 吉野元「画像データを用いた深層学習における長時間ダイナミクス」 日本物理学会2024年春季大会 2024年3月 オンライン