カード編集

問題

答え・判断基準 ReLUのような非対称な活性化関数。重みは一様分布 W〜U(−√6/√n_in, √6/√n_in) で初期化する。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 He法は、ReLUのように負の領域の出力が常に0になる(左右非対称な)活性化関数向けに考案された初期化手法。ReLUは出力の半分(負の入力に対応する部分)が失われる分、Xavier法よりも分布を広めに取る必要があるため、Xavier法の√6/√(n_in+n_out)に対しn_outを使わずn_inのみを使ったW〜U(−√6/√n_in, √6/√n_in)(一様分布)、あるいはW〜N(0, √2/√n_in)(正規分布)という、より広がりを持たせた式になっている。

Is active