カード編集

問題

答え・判断基準 tanhの微分の最大値は1、シグモイドの微分の最大値は0.25。tanhの方が勾配が大きく保たれ勾配消失しにくいが、完全に防げるわけではない。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 tanhの微分1-y²はx=0(y=0)のとき最大値1を取る。一方Sigmoidの微分y(1-y)はx=0(y=0.5)のとき最大値0.25にしかならない。この違いにより、tanhの方が逆伝播時に勾配がより多く保たれ、Sigmoidより勾配消失が起きにくい傾向がある。ただし微分値は依然として1以下がほとんどのため、層を深く重ねれば勾配消失は起こり得る—「完全に解決する」わけではない点が頻出のひっかけ。

Is active