カード編集

問題

答え・判断基準 G_t = G_(t-1) + g_t²（勾配の二乗を単純に累積）。θ_(t+1) = θ_t − η/√(G_t+ε)・g_t。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 AdaGradは各パラメータごとに学習率を自動調整するアルゴリズム。G_t=G_(t-1)+g_t²のように、これまでの全ての時刻の勾配の二乗を単純に足し合わせて累積し(RMSPropのような減衰はかけない)、更新式θ_(t+1)=θ_t−η/√(G_t+ε)・g_tでは、勾配が大きく累積してきたパラメータほど学習率が自動的に小さくなる。ε(イプシロン)はゼロ除算を防ぐための微小な正の値。

Is active