カード編集

問題

答え・判断基準 ガウス関数に基づく滑らかな非線形性を持ち、ネットワークが大規模であるほど効率的に正則化を行える。Transformerなど大規模モデルで広く採用されている。

種類 即答 選択肢消去 数式 PyTorch対応 用語

章

論点

解説 GELU(Gaussian Error Linear Unit)は、入力に標準正規分布の累積分布関数を掛け合わせた滑らかな非線形関数で、ReLUのような鋭い折れ曲がりがなく微分も連続。BERTやGPTなどの大規模Transformerモデルで広く採用されており、モデルが大規模であるほど(パラメータ数・データ量が大きいほど)その恩恵を発揮しやすいとされる。「小規模なモデルほど効率的」という逆の記述は誤り。

Is active