パーセプトロンネットワークによる深層学習の統計力学的解析

 

氏名:吉野 元

所属:阪大サイバーメディアセンター

概要:多層パーセプトロンネットワークによる深層学習に関する統計力学的解析をシミュレーションによって行った。
具体的には、同じアークテクチュアをもつ教師機械-生徒機械の組み合わせを考え、ベイズ最適な状況で
生徒機械が教師機械を学習するというシナリオについて解析を行った。最急降下法に類似した、絶対零度での
モンテカルロシミュレーションによって十分に学習が行われることが確かめられた。また
生徒-教師機械の重なりは、空間的に不均一で、ネットワークの両端で大きくなることが確かめられた。
これは理論による予想(Yoshino, 2020)と整合している。

 

論文掲載,発表実績:
(学術雑誌掲載論文)

  • Hajime Yoshino, SciPost Phys. Core 2, 005 (2020).

 

(その他)

  • 吉野元 「深層ニューラルネットワークによる学習の統計力学:レプリカ理論とシミュレーション」
    日本物理学会、秋季大会 オンライン開催、2020年9月10日.

 




Posted : 2021年03月01日