カード編集

問題

答え・判断基準 出力が0または1に飽和し、微分が0に近づくため勾配消失しやすい。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 入力|x|が大きくなるとSigmoidの出力は0または1に飽和し、その地点での微分y(1-y)は0に近づく。これが層を重ねるほど勾配が消えていく勾配消失問題の主因の一つ。温度パラメータT(σ(x/T))を導入して出力の変化の急峻さを調整しても、飽和自体は起こるため勾配消失を完全には解消できない。

Is active