カード編集

問題

答え・判断基準 入力データの前処理（正規化など）は入力分布を整えるだけで、勾配消失の原因である層間の微分の連鎖的減衰には直接的な対策にならない。適切なのは重みの初期化・活性化関数の選択・バッチ正規化。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 重みの初期化(Xavier法/He法)は各層の出力の分散を適切に保つことで勾配が消えにくくする。活性化関数の選択(ReLU系など)は微分が0や1に近い関数を使うことで勾配をそのまま伝えやすくする。学習率の設定は更新幅を調整するだけで、勾配そのものの値(層を跨ぐ微分の掛け算で小さくなっていく現象)には作用しない。入力データの前処理(正規化)も入力の分布を整えるだけで、勾配消失の直接原因である「層を重ねるごとの微分の連鎖的な減衰」そのものへの対策にはならない。

Is active