カード編集

問題

答え・判断基準 パラメータ更新ステップの大きさを制御する。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 学習率η(イータ)は、勾配∇θJ(θ)に掛け合わされる係数で、1回の更新でパラメータθをどれだけ動かすかという「更新ステップの大きさ」を制御するハイパーパラメータ。大きすぎると最適解を飛び越えてしまい、小さすぎると学習に時間がかかったり局所最適解から抜け出せなくなったりする。モデルの複雑さの制御(正則化の役割)やパラメータの初期値の設定とは別物である点に注意。

Is active