カード編集

問題

答え・判断基準 1.25倍（1.0/keep_rate = 1.0/0.8）。ドロップされなかった重みの影響を補正するため、有効な重みをkeep_rateで割ってスケーリングする。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 drop_rate=0.2ならkeep_rate=1-0.2=0.8(80%の結合が有効)。学習時に全体の入力量が減った分を補うため、有効な値をkeep_rateで割る(=1/0.8=1.25倍にスケーリングする)ことで、無効化されなかった結合の期待値を訓練時と推論時で揃える。この「割って補正する」考え方はDropoutのinverted dropoutと同じ発想。

Is active