Not Only Kernels but Normalization: Rethinking a Key Structural Factor for ERF and Localization
氏名:Masaki Ito, Masahiro Okuda
所属:Doshisha University Faculty of Science and Engineering
概要:有効受容野(ERF)解析は,畳み込みニューラルネットワーク(CNN)の挙動を解釈するために広く⽤いられており,⼤カーネルアーキテクチャの優れた性能は,その拡⼤されたERFに起因するとされることが多い.しかし,最近の研究では,ERF の⼤きさだけでは弱教師付き物体局在化(WSOL)の性能と確実に相関しないことが報告されており,空間的な活性化挙動にはその他のアーキテクチャ的要因が影響していることが⽰唆されている.本研究では,特徴マップの活性化およびERFの形成において,正規化が果たす役割を調査する.アーキテクチャと学習設定を同⼀に保ちつつ正規化のみを分離することで,ConvNeXt やRepLKNet などの⼤カーネルCNNを分析する.実験の結果,正規化の統計量が計算される空間領域が,特徴活性化の広がりを強く⽀配することが明らかになった.空間的に独⽴した正規化では活性化が広範囲に分布する⼀⽅,空間的に共有された正規化ではより局所的な応答が得られ,WSOL の局在化精度が⼀貫して向上する.さらに,カーネルサイズが固定されている場合でも,正規化の設計によってERFのサイズと形状が⼤幅に変化することを⽰す.特に,バッチ正規化は⼤きなカーネル領域においてERFを著しく拡⼤させ,正規化内のチャネル分割はこの効果をさらに増加させる.これらの知⾒は,正規化が空間的活性化パターンや受容野の形成を⽀配する構造的要因であることを浮き彫りにしており,従来のカーネルサイズに基づくERF拡⼤の解釈を超えた新たな視点を提供している.
所属:Doshisha University Faculty of Science and Engineering
概要:有効受容野(ERF)解析は,畳み込みニューラルネットワーク(CNN)の挙動を解釈するために広く⽤いられており,⼤カーネルアーキテクチャの優れた性能は,その拡⼤されたERFに起因するとされることが多い.しかし,最近の研究では,ERF の⼤きさだけでは弱教師付き物体局在化(WSOL)の性能と確実に相関しないことが報告されており,空間的な活性化挙動にはその他のアーキテクチャ的要因が影響していることが⽰唆されている.本研究では,特徴マップの活性化およびERFの形成において,正規化が果たす役割を調査する.アーキテクチャと学習設定を同⼀に保ちつつ正規化のみを分離することで,ConvNeXt やRepLKNet などの⼤カーネルCNNを分析する.実験の結果,正規化の統計量が計算される空間領域が,特徴活性化の広がりを強く⽀配することが明らかになった.空間的に独⽴した正規化では活性化が広範囲に分布する⼀⽅,空間的に共有された正規化ではより局所的な応答が得られ,WSOL の局在化精度が⼀貫して向上する.さらに,カーネルサイズが固定されている場合でも,正規化の設計によってERFのサイズと形状が⼤幅に変化することを⽰す.特に,バッチ正規化は⼤きなカーネル領域においてERFを著しく拡⼤させ,正規化内のチャネル分割はこの効果をさらに増加させる.これらの知⾒は,正規化が空間的活性化パターンや受容野の形成を⽀配する構造的要因であることを浮き彫りにしており,従来のカーネルサイズに基づくERF拡⼤の解釈を超えた新たな視点を提供している.
Posted : 2026年03月31日


