カード編集

問題

答え・判断基準 max(0,x)。x<=0 の勾配は0。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 ReLU(x)=max(0,x)は、x>0ではそのまま値を通し、x<=0では出力0・勾配も0になる。この「負側の勾配が完全に0」という性質がDying ReLU問題(一度0になったニューロンが二度と更新されなくなる現象)の原因。負側にわずかな傾きα(例:0.01)を残すことでこの問題を緩和するのがLeaky ReLU。

Is active