カード編集

問題

答え・判断基準 バッチ正規化の後にドロップアウトを適用する。逆にすると、バッチ内の入力の統計的性質が変化し、バッチ正規化の効果が減少して学習が不安定になる可能性がある。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 ドロップアウトを先に適用すると、バッチ正規化が正規化しようとする入力の分布(平均・分散)がミニバッチ内でランダムに変動してしまい、バッチ正規化が本来の効果(学習の安定化)を発揮しにくくなる。そのため一般的には「バッチ正規化→ドロップアウト」の順で層を重ねることが推奨される。

Is active