カード編集

問題

答え・判断基準 dx = (y - t) / batch_size

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 SoftmaxとCross Entropy誤差を組み合わせたSoftmaxWithLossレイヤーは、逆伝播が非常にシンプルな形dx = (y - t) / batch_sizeになることが知られている(yはSoftmax出力の予測確率、tは正解ラベルのone-hotベクトル)。これは連鎖律を経て偶然にも綺麗な形に簡約される結果であり、y+tやbatch_sizeで割らない式と誤答しやすい。

Is active