Voir la source de Fonction d'activation

Dans le domaine des [[Réseau de neurones artificiels|réseaux de neurones artificiels]], la '''fonction d'activation''' est une [[Fonction (mathématiques)|fonction mathématique]] appliquée à un signal en sortie d'un neurone artificiel. Le terme de "fonction d'activation" vient de l'équivalent biologique "potentiel d'activation", seuil de stimulation qui, une fois atteint entraîne une réponse du neurone. La fonction d'activation est souvent une fonction [[Non-linéarité|non linéaire]]. Un exemple de fonction d'activation est la [[fonction de Heaviside]], qui renvoie tout le temps 1 si le signal en entrée est positif, ou 0 s'il est négatif.

== Caractéristiques des fonctions d'activation ==
Les fonctions d'activation sont utilisées selon leurs caractéristiques :
* '''Non-linéarité''' : Quand une fonction est non linéaire, un réseau neuronal à 2 couches peut être considéré comme un approximateur de fonction universel<ref>{{article |lang=en |auteur=George Cybenko |titre=Approximation by superpositions of a sigmoidal function |périodique=Mathematics of control, signals and systems |volume=2 |numéro=4 |année=1989 |pages=303-314}}.</ref>. Note: La fonction identité a l'effet inverse, rendant un réseau neuronal multicouches équivalent à un réseau neuronal à une mono-couche.
* '''[[Fonction différentiable|Différentiable]]''' '''[[Fonction différentiable|partout]]''' : Cette propriété permet de créer des optimisations basées sur les gradients<ref>{{ouvrage |lang=en |auteur=Jan Snyman |titre=Practical mathematical optimization: an introduction to basic optimization theory and classical and new gradient-based algorithms |volume=97 |éditeur=Springer Science & Business Media |année=2005}}.</ref>.
* '''Étendue ''': Quand la plage d'activation est finie, les méthodes d'apprentissage basées sur les gradients sont plus stables (impact sur un nombre de poids limités). Quand la plage est infinie, l'apprentissage est généralement plus efficace (impact sur davantage de poids).
* '''[[Fonction monotone|Monotone]]''': Lorsque la fonction est monotone, la surface d'erreur associée avec un modèle monocouche est certifié convexe<ref>{{article |lang=en |auteur=Huaiqin Wu |titre=Global stability analysis of a general class of discontinuous neural networks with linear growth activation functions |périodique=Information Sciences |volume=179 |numéro=19 |année=2009 |pages=3432-3441}}.</ref>.
* '''Douce (dérivée monotone) : '''Les fonctions à dérivée monotone ont été montrées comme ayant une meilleure capacité à généraliser dans certains cas. Ces fonctions permettent d'appliquer des principes comme le [[rasoir d'Ockham]]<ref>{{article |lang=en |auteur1=Michael S. Gashler |auteur2=Stephen C. Ashmore |titre=Training Deep Fourier Neural Networks to Fit Time-Series Data |périodique=Intelligent Computing in Bioinformatics |éditeur=Springer International Publishing |année=2014 |pages=48-55 |lire en ligne={{arxiv|1405.2262}}}}</ref>.
* '''Identité en 0 (<math>f(x)\approx x</math> quand <math>x \approx 0</math>''') : Ces fonctions permettent de faire un apprentissage rapide en initialisant les poids de manière aléatoire. Si la fonction ne converge pas vers l'identité en 0, alors un soin spécial doit être apporté lors de l'initialisation des poids<ref>{{article |lang=en |auteur1=David Sussillo |auteur2=L. F. Abbott |titre=Random walks: Training very deep nonlinear feed-forward networks with smart initialization |périodique=CoRR |lire en ligne={{arxiv|1412.6558}} |année=2014 |volume=286}}.</ref>.

== Liste de fonctions d'activation usuelles ==
Comparatif des principales fonctions, avec leur étendue, leur continuité, si elles sont monotones, douces et si elles convergent vers l'identité en 0.
{| class="wikitable"
|-
! Nom
! Graphe
! Équation
! Dérivée
! Étendue
! [[Continuité (mathématiques)|Ordre de continuité]]
! Monotone
! Lisse<br/>(dérivée monotone)
! Identité en 0
|-
| Identité/[[Rampe (fonction)|Rampe]]
| [[File:Activation identity.svg]]
| <math>f(x)=x</math>
| <math>f'(x)=1</math>
| <math>\R</math>
| <math>C^\infty</math>
| {{Yes}}
| {{Yes}}
| {{Yes}}
|-
| Marche/[[Fonction de Heaviside|Heaviside]]
| [[File:Activation binary step.svg]]
|<math>f(x) = \left \{	\begin{array}{rcl}
	0 & \mbox{si} & x < 0\\
	1 & \mbox{si} & x \ge 0\end{array} \right.</math>
| <math>f'(x) = \left \{	\begin{array}{rcl}
	0 & \mbox{si} & x \ne 0\\
	? & \mbox{si} & x = 0\end{array} \right.</math>
| <math>\{0,1\}</math>
| <math>C^{-1}</math>
| {{Yes}}
| {{Non1}}
| {{Non1}}
|-
| Logistique (ou marche douce, ou [[Sigmoïde (mathématiques)|sigmoïde]])
| [[File:Activation logistic.svg]]
| <math>f(x)=\frac{1}{1+{\rm e}^{-x}}</math>
| <math>f'(x)=f(x)(1-f(x))</math>
| <math>[0;1]</math>
| <math>C^\infty</math>
| {{Yes}}
| {{Non1}}
| {{Non1}}
|-
| Tangente hyperbolique
| [[File:Activation tanh.svg]]
| <math>f(x)=\tanh(x)=\frac{2}{1+{\rm e}^{-2x}}-1</math>
| <math>f'(x)=1-f(x)^2</math>
| <math>[-1;1]</math>
| <math>C^\infty</math>
| {{Yes}}
| {{Non1}}
| {{Yes}}
|-
| Arc tangente
| [[File:Activation arctan.svg]]
| <math>f(x)=\tan^{-1}(x)</math>
| <math>f'(x)=\frac{1}{x^2+1}</math>
| <math>\left[-\frac{\pi}{2},\frac{\pi}{2}\right]</math>
| <math>C^\infty</math>
| {{Yes}}
| {{Non1}}
| {{Yes}}
|-
|[[Fonction signe|Signe]] doux<ref>{{article|lang=en|auteur1=Xavier Glorot|auteur2=[[Yoshua Bengio]]|titre=Understanding the difficulty of training deep feedforward neural networks|périodique=Proceedings of the International Conference on Artificial Intelligence and Statistics (AISTATS’10)|éditeur=Society for Artificial Intelligence and Statistics|année=2010|lire en ligne=http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf}}</ref>
| [[File:Activation softsign.svg|120 px]]
| <math>f(x)=\frac{x}{1+|x|}</math>
| <math>f'(x)=\frac{1}{(1+|x|)^2}</math>
| <math>[-1;1]</math>
| <math>C^1</math>
| {{Yes}}
| {{Non1}}
| {{Yes}}
|-
| [[Redresseur (réseaux neuronaux)|Unité de rectification linéaire]] (ReLU)<ref>{{article|lang=en|auteur1=Vinod Nair|auteur2=[[Geoffrey Hinton]]|titre=Rectified linear units improve restricted boltzmann machines|périodique=Proceedings of the 27th International Conference on Machine Learning (ICML-10)|année=2010}}</ref>
| [[File:Activation rectified linear.svg]]
| <math>f(x) = \left \{	\begin{array}{rcl}
	0 & \mbox{si} & x < 0\\
	x & \mbox{si} & x \ge 0\end{array} \right.</math>
| <math>f'(x) = \left \{	\begin{array}{rcl}
	0 & \mbox{si} & x < 0\\
	1 & \mbox{si} & x \ge 0\end{array} \right.</math>
| <math>\R_+</math>
| <math>C^0</math>
| {{Yes}}
| {{Yes}}
| {{Yes}}
|-
| Unité de rectification linéaire paramétrique (PReLU)<ref>{{article |lang=en |auteur1=Kaiming He |auteur2=Xiangyu Zhang |auteur3=Shaoqing Ren |auteur4=Jian Sun |titre=Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification |périodique=Computer Vision and Pattern Recognition |année=2015}} {{arxiv|1502.01852}}</ref>
| [[File:Activation prelu.svg]]
| <math>f(x) = \left \{	\begin{array}{rcl}
	\alpha x & \mbox{si} & x < 0\\
	x & \mbox{si} & x \ge 0\end{array} \right.</math>
| <math>f'(x) = \left \{	\begin{array}{rcl}
	\alpha & \mbox{si} & x < 0\\
	1 & \mbox{si} & x \ge 0\end{array} \right.</math>
| <math>\R</math>
| <math>C^0</math>
| {{Yes}}
| {{Yes}}
| {{Yes}}
|-
| Unité exponentielle linéaire (ELU)<ref> {{article |lang=en |auteur1=Djork-Arné Clevert |auteur2=Thomas Unterthiner |auteur3=Sepp Hochreiter |titre=Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs) |périodique=Machine Learning |année=2016}} {{arxiv|1511.07289v3}}</ref>
|  [[File:Activation elu.svg]]
| <math>f(x) = \left \{	\begin{array}{rcl}
	\alpha({\rm e}^x - 1) & \mbox{si} & x < 0\\
	x & \mbox{si} & x \ge 0\end{array} \right.</math>
| <math>f'(x) = \left \{	\begin{array}{rcl}
	f(x) + \alpha & \mbox{si} & x < 0\\
	1 & \mbox{si} & x \ge 0\end{array} \right.</math>
| <math>\left[-\alpha,+\infty\right[</math>
| <math>C^1</math> si<br><math>\alpha=1</math>
| {{Yes}}
| {{Yes}}
| Oui, [[Équivalence logique|ssi]]<math>\alpha\approx 1</math>
|-
| Unité de rectification linéaire douce (SoftPlus)<ref>{{article|lang=en|auteur1=Xavier Glorot|auteur2=Antoine Bordes|auteur3=Yoshua Bengio|titre=Deep sparse rectifier neural networks|périodique=International Conference on Artificial Intelligence and Statistics|année=2011}}</ref>
| [[File:Activation softplus.svg]]
| <math>f(x)=\ln(1+{\rm e}^x)</math>
| <math>f'(x)=\frac{1}{1+{\rm e}^{-x}}</math>
| <math>\R_+</math>
| <math>C^\infty</math>
| {{Yes}}
| {{Yes}}
| {{Non1}}
|-
| Identité courbée
| [[File:Activation bent identity.svg]]
| <math>f(x)=\frac{\sqrt{x^2 + 1} - 1}{2} + x</math>
| <math>f'(x)=\frac{x}{2\sqrt{x^2 + 1}} + 1</math>
| <math>\R</math>
| <math>C^\infty</math>
| {{Yes}}
| {{Yes}}
| {{Yes}}
|-
| Exponentielle douce paramétrique (''{{lang|en|soft exponential}}'')<ref>{{article |lang=en |auteur1=Luke B. Godfrey |auteur2=Michael S. Gashler |titre=A Continuum among Logarithmic, Linear, and Exponential Functions, and Its Potential to Improve Generalization in Neural Networks |périodique=Proceedings of the 7th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management: KDIR |pages=481-486 |lieu=Lisbonne, Portugal |date=Novembre 2015}}, {{arxiv|1602.01321}}</ref>
| [[File:Activation soft exponential.svg]]
| <math>f(\alpha,x) = \left \{	\begin{array}{rcl}
	-\frac{\ln(1-\alpha (x + \alpha))}{\alpha} & \mbox{si} & \alpha < 0\\
	x & \mbox{si} & \alpha = 0\\
        \frac{{\rm e}^{\alpha x} - 1}{\alpha} + \alpha & \mbox{si} & \alpha > 0\end{array}\right.</math>
| <math>f'(\alpha,x) = \left \{	\begin{array}{rcl}
	\frac{1}{1-\alpha (\alpha + x)} & \mbox{si} & \alpha < 0\\
	{\rm e}^{\alpha x} & \mbox{si} & \alpha \ge 0\end{array} \right.</math>
| <math>\R</math>
| <math>C^\infty</math>
| {{Yes}}
| {{Yes}}
| Oui, [[Équivalence logique|ssi]]<math>\alpha\approx 0</math>
|-
| [[Signal sinusoïdal|Sinusoïde]]
| [[File:Activation sinusoid.svg]]
| <math>f(x)=\sin(x)</math>
| <math>f'(x)=\cos(x)</math>
| <math>[-1;1]</math>
| <math>C^\infty</math>
| {{Non1}}
| {{Non1}}
| {{Yes}}
|-
| [[Sinus cardinal]] 
| [[File:Activation sinc.svg]]
| <math>f(x)=\left \{	\begin{array}{rcl}
      \frac{\sin(x)}{x} & \mbox{si} & x \ne 0\\
	  1 & \mbox{si} & x = 0 \end{array}\right.</math>
| <math>f'(x)=\left \{	\begin{array}{rcl}
	0 & \mbox{si} & x = 0\\
	\frac{\cos(x)}{x} - \frac{\sin(x)}{x^2} & \mbox{si} & x \ne 0\end{array} \right.</math>
| <math>[\sim-0,217234...;1]</math>
| <math>C^\infty</math>
| {{Non1}}
| {{Non1}}
| {{Non1}}
|-
| [[Fonction gaussienne]]
| [[File:Activation gaussian.svg]]
| <math>f(x)={\rm e}^{-x^2}</math>
| <math>f'(x)=-2x{\rm e}^{-x^2}</math>
| <math>]0;1]</math>
| <math>C^\infty</math>
| {{Non1}}
| {{Non1}}
| {{Non1}}
|-
| Swish ou SiLU ([[Sigmoïde (mathématiques)|Sigmoid]] Linear Unit)<ref>{{article |lang=en |auteur1=Prajit Ramachandran |auteur2=Barret Zoph |auteur3=Quoc V. Le |titre=Searching for Activation Functions |périodique=Proceedings of ICLR 2018 |date=2018}}, {{arxiv|1710.05941}}</ref>
| [[File:Swish.svg|120px]]
| <math>f(x)=x \; {\rm sigmoid}(\beta x)</math> = <math>\frac{x}{1 + e^{-\beta x}}</math>
| <math>f'(x)=\frac{1 + {\rm e}^{-\beta x} + \beta x{\rm e}^{-\beta x}}{\left(1 + {\rm e}^{-\beta x}\right)^2}</math>
| <math>]-{\rm e};\infty]</math> (si <math>\beta = 1</math>)
| <math>C^\infty</math>
| {{Non1}}
| {{Non1}}
| {{Oui1}}
|}

== Structures alternatives ==
Une classe spéciale de fonction d'activation est regroupée dans les fonctions à base radiale (RBFs). Elles sont souvent utilisées dans les réseaux neuronaux RBF, très efficaces en tant qu'approximations de fonctions universelles. Si ces fonctions peuvent être très variées, on retrouve généralement une des trois formes suivantes (en fonction d'un vecteur {{mvar|v}} :
*Fonction gaussienne : <math>\,\phi(v_i)=\exp\left(-\frac{\|v_i-c_i\|^2}{2a^2}\right)</math>
*Fonction multiquadratique : <math>\,\phi(v_i)=\sqrt{\|v_i-c_i\|^2 + a^2}</math>
*Fonction multiquadratique inverse: <math>\,\phi(v_i)=\frac{1}{\sqrt{\|v_i-c_i\|^2 + a^2}}</math>
où {{mvar|c{{ind|i}}}} est le vecteur représentant le centre de la fonction, {{mvar|a}} est un paramètre permettant de régler l'étalement de la fonction.

Les machines à support vectoriel (SVMs) peuvent utiliser une classe de fonctions d'activation qui inclut à la fois les sigmoïdes et les RBF. Dans ce cas, l'entrée est transformée pour refléter un ''{{lang|en|decision boundary hyperplane}}'', basé sur peu d'entrées (appelées vecteurs support {{mvar|x}}. La fonction d'activation pour les couches cachées de ces machines est souvent appelée "''noyau du produit intérieur''" : <math>K(v_i,x)=\phi(v_i)</math>. Les vecteurs supports sont représentés comme les centres de RBF dont le noyau serait égal aux fonctions d'activation, mais ils prennent une unique forme de perceptron : 
:<math>\,\phi(v_i)=\tanh\left(\beta_1 + \beta_0 \sum_j v_{i,j} x_j \right)</math>,
Où <math>\beta_0</math> et <math>\beta_1</math> doivent satisfaire certains critères de convergence. Ces machines peuvent aussi accepter des fonctions d'activation polynomiale d'un ordre arbitraire<ref>{{Ouvrage |langue=en |prénom1=Simon |nom1=Haykin |lien auteur1=Simon Haykin |titre=Neural Networks |sous-titre=A Comprehensive Foundation |éditeur=Prentice Hall |année=1998 |numéro d'édition=2 |pages totales=842 |isbn=0-13-273350-1}}</ref>:
:<math>\,\phi(v_i)=\left(1+\sum_j v_{i,j} x_j \right)^p</math>.

== Voir aussi ==
* [[Fonction logistique (Verhulst)|Fonction logistique]]
* [[Réseau de neurones artificiels]]

== Références ==
{{reflist}}

{{Portail|informatique théorique|intelligence artificielle}}
[[Catégorie:Réseau de neurones artificiels]]