カード編集

問題

答え・判断基準 負の入力にも小さな勾配αを残し、Dying ReLUを緩和する。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 Leaky ReLUはReLUの負側の勾配が完全に0になる(Dying ReLU)問題を緩和するために、負の入力にも小さな傾きαを持たせた活性化関数。順伝播の式はx>0でx、x<=0でαxとなり、逆伝播の勾配もx>0で1、x<=0でαとなる。ReLUと式も微分も同一ではない点が頻出のひっかけ。

Is active