双曲型偏微分方程式を利用した状態空間レイヤーについて
氏名:谷口隆晴
所属:神戸大学理学研究科数学専攻
概要:大規模言語モデルなどで利用されているTransformerは,入力系列の長さが長くなると計算量が大きくなりすぎることが知られている.そこで,状態空間モデルをニューラルネットワークの層として利用する方法が注目されている.本研究では,既存の状態空間モデルが双曲型偏微分方程式を離散化したものと解釈できることを示し,実際のタスクにそのようなモデルが適用可能であることを示した.
Posted : 2025年03月31日