カード編集

問題

答え・判断基準 勾配が振動しやすい目的関数に対して、過去の勾配情報を利用して振動を抑制し、収束を速める。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 SGDは目的関数の形状によっては勾配の向きが振動し、収束が遅くなることがある。Momentumは物理的な「慣性」の考え方を取り入れ、過去の勾配情報(速度)を蓄積して現在の更新に反映させることで、振動を抑えながらより滑らかに、かつ速く最適解に向かう効果がある。学習率を自動調整するAdaGrad/RMSPropとは異なるアプローチである点に注意。

Is active