カード編集

問題

答え・判断基準 ReLUは正の入力に対して常に勾配1を持つため、シグモイド関数に比べて勾配消失問題を緩和する効果がある。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 Sigmoidは出力が0/1に飽和する領域で微分がほぼ0になってしまうのに対し、ReLUは入力が正である限り微分が常に1で一定のため、その領域では勾配がそのまま伝わり続け勾配消失が起きにくい。ただしReLUも入力が負の領域では微分が0になるため万能ではなく(Dying ReLU問題)、その緩和策がLeaky ReLU(負側の微分をαという小さな正の値にする)である。

Is active