カード編集

問題

答え・判断基準 Dying ReLU

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 ReLUはx<=0で出力も勾配も0になるため、一度そのニューロンへの入力が負の値ばかりになってしまうと、勾配が常に0のまま学習が進まず「死んだ」状態になる。この現象を緩和するために、負の入力にも小さな傾きαを残すLeaky ReLUが考案された。

Is active