カード編集

問題

答え・判断基準 RMSProp（勾配二乗の指数移動平均）とMomentum（勾配自体の指数移動平均）を組み合わせたもの。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 AdamはRMSPropの仕組み(勾配の二乗の指数移動平均v_tで学習率を自動調整)に、Momentumの仕組み(勾配自体の指数移動平均m_tで更新方向を滑らかにする)を組み合わせたアルゴリズム。m_tは勾配の1次モーメント(平均)の推定値、v_tは2次モーメント(分散)の推定値と呼ばれ、この2つを使ってθ_(t+1)=θ_t−η/√(v̂_t+ε)・m̂_tのように更新する。

Is active