:orphan: |rss_image| **2020-01 - 1/1** :ref:`Blog ` .. |rss_image| image:: feed-icon-16x16.png :target: ../_downloads/rss.xml :alt: RSS ---- .. index:: 2020-01 .. _ap-month-2020-01-0: 2020-01 - 1/1 +++++++++++++ .. blogpostagg:: :title: GELU et descente de gradient :date: 2020-01-20 :keywords: gelu,relu,elu :categories: activation :rawfile: 2020/2020-01-20_gelu.rst Un article intéressant sur un petit changement numérique dans la fonction d'activation : `Gaussian Error Linear Units (GELUS) `_. D'après l'article, cette nouvelle fonction d'activation est comparable à la fonction Relu voire meilleure sur certains problèmes. Cette fonction d'activation est stochastique dans le sens où parfois la fonction retourne *x* ou 0 selon qu'une variable normale *Y* est inférieur à *x*. Le réseau introduit lui-même un bruit lors de la prédiction, la couche suivante doit donc en tenir compte. ... ---- |rss_image| **2020-01 - 1/1** :ref:`2020-10 (1) ` :ref:`2021-01 (1) ` :ref:`2021-06 (2) ` :ref:`2021-11 (1) ` :ref:`2022-02 (1) `