カード編集

問題

答え・判断基準 SGDでは重みの減衰が単純に重みの値に比例して働くのに対し、Adamは学習率を自動調整するため、L2正則化による減衰が意図した値にならない場合がある。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 L2正則化は損失関数に正則化項を加えることで、勾配計算を通じて間接的に「重みを引き算する」効果を生む。SGDは各パラメータに同じ学習率を掛けるため、この減衰がそのまま働く。一方Adamはパラメータごとに学習率を自動調整する(過去の勾配の大きさに応じて割る)ため、正則化由来の勾配もこの調整の影響を受けてしまい、想定したほど重みが減衰しないことがある—これがAdamW(Weight Decayを勾配とは別に直接適用する改良版Adam)が考案された背景でもある。

Is active