カード編集

問題

答え・判断基準 小さいバッチサイズ（SB）は初期段階で学習が速いが、大きなバッチサイズ（LB）が必ずしも汎化性能を向上させるわけではなく、最適なバッチサイズはモデル・データセットに依存する。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 小さいバッチサイズはパラメータ更新の回数が多くなるため少ないエポックで精度が上がりやすい一方、大きいバッチサイズは1回の更新の計算量が増えるぶん精度向上は緩やかだが安定して進む傾向がある。「バッチサイズが大きいほど汎化性能が高い」「小さいほど学習速度が速い」という単純な言い切りはどちらも誤りで、実際は最適なバッチサイズをデータやモデルに応じて見極める必要がある。

Is active