カード編集

問題

答え・判断基準 m_t、v_tは0ベクトルとして初期化されるため、減衰率（β1,β2）が1に近い場合に値が0に偏る。これを補正するため m̂_t=m_t/(1−β1^t)、v̂_t=v_t/(1−β2^t) のように補正する。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 m_t、v_tはどちらも0ベクトルから更新を始めるため、学習の初期段階(tが小さいとき)は真の値よりも0に近い方向にバイアス(偏り)がかかってしまう。特に減衰率β1、β2が1に近い(過去の情報を重視する)設定だと、このバイアスの影響が大きくなる。(1−β^t)で割ることでこの初期バイアスを補正し、学習初期から適切な大きさの更新ができるようにしている。

Is active