カード編集

問題

答え・判断基準 シグモイド関数やtanhなど、左右対称で中央付近を線形とみなせる活性化関数。重みは一様分布 W〜U(−√6/√(n_in+n_out), √6/√(n_in+n_out)) で初期化する。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 Xavier法は、各層の出力の分散を前後の層でなるべく揃える(勾配が極端に増幅も減衰もしない)ことを狙った初期化手法。シグモイドやtanhのように原点付近を線形とみなせ、かつ左右対称な活性化関数に適しており、一様分布ではW〜U(−√6/√(n_in+n_out), √6/√(n_in+n_out))、正規分布ではW〜N(0, √2/√(n_in+n_out))を用いる。入力ニューロン数n_inと出力ニューロン数n_outの両方を使う点がHe法との違い。

Is active