カード編集

問題

答え・判断基準 適切な活性化関数の選択（ReLU系など）、それに応じた重みの初期化手法、各層の入力を正規化するバッチ正規化。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 勾配消失は、逆伝播の際に各層の活性化関数の微分(1未満の値になりがち)が層数分掛け合わされることで、入力層に近づくほど勾配が指数的に小さくなる現象。対策としては(1)ReLU系など微分が0や1に近い活性化関数を選ぶ、(2)Xavier法・He法など活性化関数に応じた重みの初期化を行う、(3)各層の入力分布を安定させるバッチ正規化を挟む、の3つが代表的。単に学習率を上げても勾配そのものの減衰は解決しない。

Is active