カード編集

問題

答え・判断基準 目的関数の曲率が方向ごとに極端に異なる悪条件の谷で、急峻方向に振動し、平坦方向に停滞する状態。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 曲率が一様に大きい・小さい状態ではなく、方向間の曲率差が極端に大きいことが本質。SGDは谷を横切る方向へ振動しながら谷に沿う方向へ進みにくくなる。Momentumは振動を抑えられる。大きなミニバッチは勾配ノイズを減らすが、曲率の悪条件そのものを解消するわけではない。

Is active