カード編集

問題

答え・判断基準 GELU（Gaussian Error Linear Unit）

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 GELUは入力に標準正規分布の累積分布関数を掛け合わせた活性化関数で、ReLUのような鋭い折れ曲がりがなく微分も連続的。BERTやGPTなど大規模なTransformerモデルで広く採用されている。

Is active