カード編集

問題

答え・判断基準 勾配計算に利用するデータの量と選択方法が異なる。最急降下法は訓練データ全体を使用し、SGD（ミニバッチ）は一部をランダムに抜き出して使用する。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 両者とも「勾配方向にパラメータを更新する」という基本思想は同じだが、勾配計算に使うデータの範囲が異なる。最急降下法は訓練データ全体を毎回使うのに対し、SGD(ミニバッチ勾配降下法を含む)は訓練データの一部をランダムに抜き出して勾配を近似する。この違いにより、SGDは1回あたりの計算量が少なく、勾配にノイズが乗ることで局所最適解に陥りにくくなるという特徴を持つ。

Is active