カード編集

問題

答え・判断基準 0。self.maskはforward時にx<=0だった要素を示しており、逆伝播ではその位置の勾配を0にする。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 ReLUのforwardでは、入力xが0以下だった要素の位置をself.maskとしてTrue/Falseで記録しておく。backwardでは、そのマスクされた位置(順伝播でも出力が0だった位置)の勾配を0にして逆伝播を止める—ReLUの微分がx<=0で0になるという性質をそのままコードに落とし込んだ処理。1を代入してしまうと、勾配が伝わらないはずの箇所に誤って勾配が流れてしまう。

Is active