Statistical mechanical analysis of deep learning by a perceptron network

 

Authors:Hajime Yoshino

Affiliation:Cybermedia Center, Osaka Univ.

Abstract:多層パーセプトロンネットワークによる深層学習に関する統計力学的解析をシミュレーションによって行った。
具体的には、同じアークテクチュアをもつ教師機械-生徒機械の組み合わせを考え、ベイズ最適な状況で
生徒機械が教師機械を学習するというシナリオについて解析を行った。最急降下法に類似した、絶対零度での
モンテカルロシミュレーションによって十分に学習が行われることが確かめられた。また
生徒-教師機械の重なりは、空間的に不均一で、ネットワークの両端で大きくなることが確かめられた。
これは理論による予想(Yoshino, 2020)と整合している。

 

Publication related to your research
(Journal paper)

  • Hajime Yoshino, SciPost Phys. Core 2, 005 (2020).

 

(Etc)

  • 吉野元 「深層ニューラルネットワークによる学習の統計力学:レプリカ理論とシミュレーション」
    日本物理学会、秋季大会 オンライン開催、2020年9月10日.

 




Posted : March 01,2021