カード編集

問題

答え・判断基準 v_t = γv_(t-1) + η∇θJ(θ−γv_(t-1))、θ = θ − v_t。現在位置ではなく、Momentum分だけ先読みした位置での勾配を使う。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 NAGはMomentumの発展形で、v_t=γv_(t-1)+η∇θJ(θ−γv_(t-1))、θ=θ−v_tという式になる。通常のMomentumが「現在地θ」での勾配を使うのに対し、NAGは「Momentum項γv_(t-1)分だけ先に進んだ未来の位置θ−γv_(t-1)」での勾配を使う—先読みして進行方向を補正するイメージ。この「先読み」がMomentumとの決定的な違いであり、単純に∇θJ(θ)としている選択肢は誤り。

Is active