Fonction d'activation

Dans le domaine des réseaux de neurones artificiels, la fonction d'activation est une fonction mathématique appliquée à un signal en sortie d'un neurone artificiel. Le terme de "fonction d'activation" vient de l'équivalent biologique "potentiel d'activation", seuil de stimulation qui, une fois atteint entraîne une réponse du neurone. La fonction d'activation est souvent une fonction non linéaire. Un exemple de fonction d'activation est la fonction de Heaviside, qui renvoie tout le temps 1 si le signal en entrée est positif, ou 0 s'il est négatif.

Caractéristiques des fonctions d'activation

Les fonctions d'activation sont utilisées selon leurs caractéristiques :

• Non-linéarité : Quand une fonction est non linéaire, un réseau neuronal à 2 couches peut être considéré comme un approximateur de fonction universel. Note: La fonction identité a l'effet inverse, rendant un réseau neuronal multicouches équivalent à un réseau neuronal à une mono-couche.
• Différentiable partout : Cette propriété permet de créer des optimisations basées sur les gradients.
• Étendue : Quand la plage d'activation est finie, les méthodes d'apprentissage basées sur les gradients sont plus stables (impact sur un nombre de poids limités). Quand la plage est infinie, l'apprentissage est généralement plus efficace (impact sur davantage de poids).
• Monotone: Lorsque la fonction est monotone, la surface d'erreur associée avec un modèle monocouche est certifié convexe.
• Douce (dérivée monotone) : Les fonctions à dérivée monotone ont été montrées comme ayant une meilleure capacité à généraliser dans certains cas. Ces fonctions permettent d'appliquer des principes comme le rasoir d'Ockham.
• Identité en 0 ($f(x)\approx x$ quand $x\approx 0$) : Ces fonctions permettent de faire un apprentissage rapide en initialisant les poids de manière aléatoire. Si la fonction ne converge pas vers l'identité en 0, alors un soin spécial doit être apporté lors de l'initialisation des poids.

Liste de fonctions d'activation usuelles

Comparatif des principales fonctions, avec leur étendue, leur continuité, si elles sont monotones, douces et si elles convergent vers l'identité en 0.

Nom	Graphe	Équation	Dérivée	Étendue	Ordre de continuité	Monotone	Lisse (dérivée monotone)	Identité en 0
Identité/Rampe		$f(x)=x$	$f^{\prime }(x)=1$	$ℝ$	$C^{\mathrm{\infty }}$	Modèle:Yes	Modèle:Yes	Modèle:Yes
Marche/Heaviside		$f(x)=\{\begin{array}{ccc}0& \text{si}& x<0\\ 1& \text{si}& x\ge 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{ccc}0& \text{si}& x\ne 0\\ ?& \text{si}& x=0\end{array}$	$\{0,1\}$	$C^{-1}$	Modèle:Yes	Modèle:Non1	Modèle:Non1
Logistique (ou marche douce, ou sigmoïde)		$f(x)=\frac{1}{1+{\mathrm{e}}^{-x}}$	$f^{\prime }(x)=f(x)(1-f(x))$	$[0;1]$	$C^{\mathrm{\infty }}$	Modèle:Yes	Modèle:Non1	Modèle:Non1
Tangente hyperbolique		$f(x)=\tanh (x)=\frac{2}{1+{\mathrm{e}}^{-2x}}-1$	$f^{\prime }(x)=1-f(x{)}^2$	$[-1;1]$	$C^{\mathrm{\infty }}$	Modèle:Yes	Modèle:Non1	Modèle:Yes
Arc tangente		$f(x)={\tan }^{-1}(x)$	$f^{\prime }(x)=\frac{1}{x^2+1}$	$[-\frac{\pi }{2},\frac{\pi }{2}]$	$C^{\mathrm{\infty }}$	Modèle:Yes	Modèle:Non1	Modèle:Yes
Signe doux		$f(x)=\frac{x}{1+|x|}$	$f^{\prime }(x)=\frac{1}{(1+|x|{)}^2}$	$[-1;1]$	$C^1$	Modèle:Yes	Modèle:Non1	Modèle:Yes
Unité de rectification linéaire (ReLU)		$f(x)=\{\begin{array}{ccc}0& \text{si}& x<0\\ x& \text{si}& x\ge 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{ccc}0& \text{si}& x<0\\ 1& \text{si}& x\ge 0\end{array}$	${ℝ}_{+}$	$C^0$	Modèle:Yes	Modèle:Yes	Modèle:Yes
Unité de rectification linéaire paramétrique (PReLU)		$f(x)=\{\begin{array}{ccc}\alpha x& \text{si}& x<0\\ x& \text{si}& x\ge 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{ccc}\alpha & \text{si}& x<0\\ 1& \text{si}& x\ge 0\end{array}$	$ℝ$	$C^0$	Modèle:Yes	Modèle:Yes	Modèle:Yes
Unité exponentielle linéaire (ELU)		$f(x)=\{\begin{array}{ccc}\alpha ({\mathrm{e}}^x-1)& \text{si}& x<0\\ x& \text{si}& x\ge 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{ccc}f(x)+\alpha & \text{si}& x<0\\ 1& \text{si}& x\ge 0\end{array}$	$[-\alpha ,+\mathrm{\infty }[$	$C^1$ si $\alpha =1$	Modèle:Yes	Modèle:Yes	Oui, ssi$\alpha \approx 1$
Unité de rectification linéaire douce (SoftPlus)		$f(x)=\ln (1+{\mathrm{e}}^x)$	$f^{\prime }(x)=\frac{1}{1+{\mathrm{e}}^{-x}}$	${ℝ}_{+}$	$C^{\mathrm{\infty }}$	Modèle:Yes	Modèle:Yes	Modèle:Non1
Identité courbée		$f(x)=\frac{\sqrt{x^2+1}-1}{2}+x$	$f^{\prime }(x)=\frac{x}{2\sqrt{x^2+1}}+1$	$ℝ$	$C^{\mathrm{\infty }}$	Modèle:Yes	Modèle:Yes	Modèle:Yes
Exponentielle douce paramétrique (Modèle:Lang)		$f(\alpha ,x)=\{\begin{array}{ccc}-\frac{\ln (1-\alpha (x+\alpha ))}{\alpha }& \text{si}& \alpha <0\\ x& \text{si}& \alpha =0\\ \frac{{\mathrm{e}}^{\alpha x}-1}{\alpha }+\alpha & \text{si}& \alpha >0\end{array}$	$f^{\prime }(\alpha ,x)=\{\begin{array}{ccc}\frac{1}{1-\alpha (\alpha +x)}& \text{si}& \alpha <0\\ {\mathrm{e}}^{\alpha x}& \text{si}& \alpha \ge 0\end{array}$	$ℝ$	$C^{\mathrm{\infty }}$	Modèle:Yes	Modèle:Yes	Oui, ssi$\alpha \approx 0$
Sinusoïde		$f(x)=\sin (x)$	$f^{\prime }(x)=\cos (x)$	$[-1;1]$	$C^{\mathrm{\infty }}$	Modèle:Non1	Modèle:Non1	Modèle:Yes
Sinus cardinal		$f(x)=\{\begin{array}{ccc}\frac{\sin (x)}{x}& \text{si}& x\ne 0\\ 1& \text{si}& x=0\end{array}$	$f^{\prime }(x)=\{\begin{array}{ccc}0& \text{si}& x=0\\ \frac{\cos (x)}{x}-\frac{\sin (x)}{x^2}& \text{si}& x\ne 0\end{array}$	$[\sim -0,217234...;1]$	$C^{\mathrm{\infty }}$	Modèle:Non1	Modèle:Non1	Modèle:Non1
Fonction gaussienne		$f(x)={\mathrm{e}}^{-x^2}$	$f^{\prime }(x)=-2x{\mathrm{e}}^{-x^2}$	$]0;1]$	$C^{\mathrm{\infty }}$	Modèle:Non1	Modèle:Non1	Modèle:Non1
Swish ou SiLU (Sigmoid Linear Unit)		$f(x)=x\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(\beta x)$ = $\frac{x}{1+e^{-\beta x}}$	$f^{\prime }(x)=\frac{1+{\mathrm{e}}^{-\beta x}+\beta x{\mathrm{e}}^{-\beta x}}{{(1+{\mathrm{e}}^{-\beta x})}^2}$	$]-\mathrm{e};\mathrm{\infty }]$ (si $\beta =1$)	$C^{\mathrm{\infty }}$	Modèle:Non1	Modèle:Non1	Modèle:Oui1

Structures alternatives

Une classe spéciale de fonction d'activation est regroupée dans les fonctions à base radiale (RBFs). Elles sont souvent utilisées dans les réseaux neuronaux RBF, très efficaces en tant qu'approximations de fonctions universelles. Si ces fonctions peuvent être très variées, on retrouve généralement une des trois formes suivantes (en fonction d'un vecteur Modèle:Mvar :

• Fonction gaussienne : $\varphi (v_i)=\exp (-\frac{\Vert v_i-c_i{\Vert }^2}{2a^2})$
• Fonction multiquadratique : $\varphi (v_i)=\sqrt{\Vert v_i-c_i{\Vert }^2+a^2}$
• Fonction multiquadratique inverse: $\varphi (v_i)=\frac{1}{\sqrt{\Vert v_i-c_i{\Vert }^2+a^2}}$

où Modèle:Mvar est le vecteur représentant le centre de la fonction, Modèle:Mvar est un paramètre permettant de régler l'étalement de la fonction.

Les machines à support vectoriel (SVMs) peuvent utiliser une classe de fonctions d'activation qui inclut à la fois les sigmoïdes et les RBF. Dans ce cas, l'entrée est transformée pour refléter un Modèle:Lang, basé sur peu d'entrées (appelées vecteurs support Modèle:Mvar. La fonction d'activation pour les couches cachées de ces machines est souvent appelée "noyau du produit intérieur" : $K(v_i,x)=\varphi (v_i)$. Les vecteurs supports sont représentés comme les centres de RBF dont le noyau serait égal aux fonctions d'activation, mais ils prennent une unique forme de perceptron :

$\varphi (v_i)=\tanh ({\beta }_1+{\beta }_0\sum _j{v}_{i,j}{x}_j)$,

Où ${\beta }_0$ et ${\beta }_1$ doivent satisfaire certains critères de convergence. Ces machines peuvent aussi accepter des fonctions d'activation polynomiale d'un ordre arbitraire:

$\varphi (v_i)={(1+\sum _j{v}_{i,j}{x}_j)}^p$.

Voir aussi

• Fonction logistique
• Réseau de neurones artificiels