カード編集

問題

答え・判断基準 勾配消失問題

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 SigmoidやtanhのようなS字型の活性化関数は、入力の絶対値が大きい領域で出力が飽和し微分がほぼ0になる。逆伝播ではこの微分を層の数だけ掛け合わせるため、層が深いほど入力層側に伝わる勾配が指数的に小さくなる。対策はReLU系の活性化関数、Xavier法/He法による初期化、バッチ正規化など。

Is active