Voir la source de Rétropropagation du gradient

{{Infobox Méthode scientifique
| image = 
| légende = 
}}
[[Fichier:Backpropagation.png|vignette|Représentation d'une rétropropagation]]
En [[intelligence artificielle]], plus précisément en [[apprentissage automatique]], la '''rétropropagation du gradient''' est une méthode pour entraîner un [[réseau de neurones artificiels|réseau de neurones]]. Elle consiste à mettre à jour les poids de chaque neurone de la dernière couche vers la première. Elle vise à corriger les erreurs selon l'importance de la contribution de chaque élément à celles-ci. Dans le cas des réseaux de neurones, les poids [[synapse|synaptiques]] qui contribuent plus à une erreur sont modifiés de manière plus importante que les poids qui provoquent une erreur marginale.

De façon abusive, on appelle souvent{{Qui|date=27 juin 2023}}{{Référence nécessaire|date=27 juin 2023}} « technique de rétropropagation du gradient » l'[[Algorithme du gradient|algorithme classique]] de correction des erreurs reposant sur le calcul du gradient grâce à la rétropropagation. C'est cette méthode qui est présentée ici. La correction des erreurs peut se faire selon d'autres méthodes, par exemple le calcul de la [[dérivée seconde]]. 

Ce principe fonde les méthodes de type [[algorithme du gradient]], qui sont utilisées dans des réseaux de neurones multicouches comme les [[Perceptron multicouche|perceptrons multicouches]]. L'algorithme du gradient a pour but de converger de manière itérative vers une configuration optimale des poids synaptiques. Cette configuration peut être un minimum local de la fonction dite [[Fonction objectif|fonction de coût]], ou, idéalement, le minimum global de cette fonction. Normalement, la fonction de coût est non linéaire au regard des poids synaptiques. Elle dispose également d'une borne inférieure et moyennant quelques précautions lors de l'apprentissage, les procédures d'optimisation finissent par aboutir à une configuration stable au sein du réseau de neurones.

== Historique ==

La méthode de rétropropagation du gradient a fait l'objet de communications dès 1975 (Werbos){{Référence nécessaire|date=27 juin 2023}}, puis 1985 (Parker<ref>{{article|prénom=D.B.|nom=Parker|titre=Learning Logic|lieu=Cambridge MA|périodique=Massachusetts Institute of Technology|date=1985|department=Center for Computational Research in Economics and Management Science}}</ref> et [[Yann LeCun|LeCun]]{{Référence nécessaire|date=27 juin 2023}}), mais ce sont les travaux de Rumelhart, [[Geoffrey Hinton|Hinton]] et Williams en 1986<ref name="learning-representations">{{article|nom1=Rumelhart|nom2=Hinton|nom3=Williams|titre=Learning representations by back-propagating errors|journal=Nature|volume=323|numéro=6088|année=1986|doi=10.1038/323533a0|bibcode=1986Natur.323..533R|url=http://www.cs.toronto.edu/~hinton/absps/naturebp.pdf|pages=533–536|s2cid=205001834}}</ref> qui ont suscité le véritable début de l'engouement pour cette méthode<ref>Patrick van der Smagt, ''An Introduction to Neural Networks'', 1996, page 33.</ref>.

Jürgen Schmidhuber, dans un [[état de l'art]] publié en 2015<ref name="scholarpedia2015">{{article|prénom=Jürgen|nom=Schmidhuber|titre=Deep Learning|journal=Scholarpedia|volume=10|numéro=11|année=2015|doi=10.4249/scholarpedia.32832|bibcode=2015SchpJ..1032832S|page=32832|lien auteur=Jürgen Schmidhuber|accès doi=libre}}</ref> établit que la méthode a été mise au point pour la première fois par Seppo Linnainmaa dans son mémoire de maîtrise soutenu à l'université d'Helsinki en 1970<ref name="lin1970">{{cite thesis|first=Seppo|last=Linnainmaa|author-link=Seppo Linnainmaa|year=1970|type=Masters|title=The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors|language=fi|publisher=University of Helsinki|pages=6–7}}</ref>{{,}}<ref>Seppo Linnainmaa, ''Algoritmin kumulatiivinen pyöristysvirhe yksittäisten pyöristysvirheiden Taylor-kehitelmänä'' (« Représentation de l'erreur cumulative d'un algorithme comme développement en séries de Taylor des arrondis des erreurs locales »), cité par J. Schmidhuber. ''Deep learning in neural networks: An overview'' (« Apprentissage profond dans les réseaux de neurones. État de l'art. »), ''Neural Networks'', n°61, 2015, p.85–117.</ref>.

== Utilisation au sein d'un apprentissage supervisé ==

Dans le cas d'un [[apprentissage supervisé]], des données sont présentées à l'entrée du réseau de neurones et celui-ci produit des sorties. La valeur des sorties dépend des paramètres liés à la structure du réseau de neurones : connectique entre neurones, fonctions d'agrégation et d'activation ainsi que les poids synaptiques. 

Les différences entre ces sorties et les sorties désirées forment des erreurs qui sont corrigées via la rétropropagation, les poids du réseau de neurones sont alors changés. La manière de quantifier cette erreur peut varier selon le type d'apprentissage à effectuer. En appliquant cette étape plusieurs fois, l'erreur tend à diminuer et le réseau offre une meilleure prédiction. Il se peut toutefois qu'il ne parvienne pas à échapper à un minimum local, c'est pourquoi on ajoute en général un terme d'[[inertie]] ({{Citation étrangère|langue=en|momentum}}) à la formule de la rétropropagation pour aider l'[[algorithme du gradient]] à sortir de ces minimums locaux.

== Algorithme ==

Les poids dans le réseau de neurones sont au préalable initialisés avec des valeurs aléatoires. On considère ensuite un ensemble de données qui vont servir à l'apprentissage. Chaque échantillon possède ses valeurs cibles qui sont celles que le réseau de neurones doit à terme prédire lorsqu'on lui présente le même échantillon. L'algorithme suit les étapes suivantes. 

* Soient un échantillon <math>\vec{x}</math> que l'on présente à l'entrée du réseau de neurones et <math>\vec{t}</math> la sortie désirée pour cet échantillon.
* On propage{{Quoi|date=27 juin 2023}} le signal en avant dans les couches du réseau de neurones : <math>x_k^{(n-1)}\mapsto x_j^{(n)}</math>, avec <math>n</math> le numéro de la couche, et <math>k</math> et <math>j</math> les numéros des neurones sur leur couche respective.
* La propagation vers l'avant se calcule à l'aide de la fonction d'activation <math>g</math>, de la fonction d'agrégation <math>h</math> (souvent un produit scalaire entre les poids et les entrées du neurone) et des poids synaptiques <math>\vec{w}_{jk}</math> entre le neurone <math>x_k^{(n-1)}</math> et le neurone <math>x_j^{(n)}</math>. La notation est alors inversée : <math>\vec{w}_{jk}</math> indique bien un poids de <math>k</math> vers <math>j</math>.

:<math>x_j^{(n)} = g^{(n)}(h_j^{(n)}) = g^{(n)}\Big(\sum_k w_{jk}^{(n)}x_k^{(n-1)}\Big)</math>

* Lorsque la propagation vers l'avant est terminée, on obtient à la sortie le résultat <math>\vec{y}</math>, c-à-d, <math>\vec{y}_i = x_i^{sortie}</math>.
* On calcule alors l'erreur entre la sortie donnée par le réseau <math>\vec{y}</math> et le vecteur <math>\vec{t}</math> désiré à la sortie pour cet échantillon. Pour chaque neurone <math>i</math> dans la couche de sortie, on calcule (<math>g'</math> étant la dérivée de <math>g</math>):

:<math>e_i^{\text{sortie}} = g'(h_i^{\text{sortie}})(y_i - t_i)</math>

* On propage l'erreur vers l'arrière <math>e_i^{(n)} \mapsto e_j^{(n-1)}</math> grâce à la formule suivante :

:<math>e_j^{(n-1)} = g'^{(n-1)}(h_j^{(n-1)})\sum_i w_{ij}^{(n)}e_i^{(n)}</math>
: ''note: ''<math>e_i^{(n)} = e_i^{\text{sortie}}=(y_i - t_i) \frac{\partial y_i}{\partial h_i^{(n)}}</math>
{{démonstration/début}}

Avec <math>E</math> l'énergie à minimiser :
<math>E = \frac{1}{2} \sum_i (y_i - t_i)^2</math>
sous la forme <math>{\partial E\over\partial w} = {\partial E\over \partial y}{\partial y\over \partial h}{\partial h\over \partial w}</math>:
<math>\frac{\partial E}{\partial w^{(l)}_{ab}} = \sum_i (y_i - t_i) g'^{(n)}(h_i^{(n)}) \sum_k w_{ik}^{(n)} \frac{\partial x_k^{(n-1)}}{\partial w^{(l)}_{ab}}</math>
<math>\frac{\partial E}{\partial w^{(l)}_{ab}} = \sum_k \frac{\partial x_k^{(n-1)}}{\partial w^{(l)}_{ab}} \sum_i w_{ik}^{(n)} \underbrace{g'^{(n)}(h_i^{(n)}) (y_i - t_i)}_{e_i^{(n)}}</math>
<math>\frac{\partial E}{\partial w^{(l)}_{ab}} = \sum_k \frac{\partial x_k^{(n-1)}}{\partial w^{(l)}_{ab}} \sum_i w_{ik}^{(n)} e_i^{(n)}</math>
En utilisant la même technique sur la dérivée partielle de <math>x^{(n-1)}_k</math>, on obtient :<math>\frac{\partial E}{\partial w^{(l)}_{ab}} = \sum_k \frac{\partial x_k^{(n-2)}}{\partial w^{(l)}_{ab}} \sum_i w^{(n-1)}_{ik} e_i^{(n-1)}</math>
En itérant l'algorithme jusqu'à la couche <math>l</math>, on arrive à :
<math>\frac{\partial E}{\partial w^{(l)}_{ab}} = \sum_k \frac{\partial x_k^{(l)}}{\partial w^{(l)}_{ab}} \sum_i w^{(l+1)}_{ik} e_i^{(l+1)} = x^{(l-1)}_{b} e_a^{(l)}</math>
On voit qu'en définissant la suite des <math>e^{(l)}_i</math> comme nous l'avons fait, on peut facilement obtenir la dérivée de l'énergie par rapport aux poids synaptiques d'un neurone à distance <math>n-l</math> de la sortie.
{{démonstration/fin}}
* On met à jour les poids dans toutes les couches :
:<math>w_{ij}^{(n)} = w_{ij}^{(n)} - \lambda e_i^{(n)}x_j^{(n-1)}</math> où <math>\lambda</math> représente le taux d'apprentissage (de faible magnitude et compris entre <math>0{,}0</math> et <math>1{,}0</math>).

== Implémentation ==
L'algorithme présenté ici est de type « online », c'est-à-dire que l'on met à jour les poids pour chaque échantillon d'apprentissage présenté dans le réseau de neurones. Une autre méthode est dite en « batch », c'est-à-dire que l'on calcule d'abord les erreurs pour tous les échantillons ''sans'' mettre à jour les poids (on additionne les erreurs) et lorsque l'ensemble des données est passé une fois dans le réseau, on applique la rétropropagation en utilisant l'erreur totale. Cette façon de faire (batch) est préférée pour des raisons de rapidité et de convergence.

L'algorithme est itératif et la correction s'applique autant de fois que nécessaire pour obtenir une bonne prédiction. Il faut cependant veiller aux problèmes de [[surapprentissage]] liés à un mauvais dimensionnement du réseau ou un apprentissage trop poussé.

== Ajout d'inertie ==
Pour éviter les problèmes liés à une stabilisation dans un minimum local, on ajoute un terme d'inertie (momentum). Celui-ci permet de sortir des minimums locaux dans la mesure du possible et de poursuivre la descente de la [[fonction d'erreur]]. À chaque itération, le changement de poids conserve les informations des changements précédents. Cet effet de mémoire permet d'éviter les oscillations et accélère l'optimisation du réseau. Par rapport à la formule de modification des poids présentée auparavant, le changement des poids avec inertie au temps <math>t</math> se traduit par : 

:<math>w_{ij}^{(l)}(t) = w_{ij}^{(l)}(t-1) - \alpha \lambda e_i^{(l)}x_j^{(l-1)} + (1-\alpha) \Delta w_{ij}^{(l)}(t-1)</math>

avec <math>\alpha</math> un paramètre compris entre 0 et 1.

== Analogie biologique ==
{{...}}
Un phénomène biologique équivalent à la rétropropagation d'information dans les réseaux de neurones  a été attesté par Stuart et ses collègues<ref>{{Article |langue=en |prénom1=Greg |nom1=Stuart |prénom2=Nelson |nom2=Spruston |prénom3=Bert |nom3=Sakmann |prénom4=Michael |nom4=Häusser |titre=Action potential initiation and backpropagation in neurons of the mammalian CNS |périodique=Trends in Neurosciences |volume=20 |numéro=3 |date=1997-3 |doi=10.1016/S0166-2236(96)10075-8 |lire en ligne=https://linkinghub.elsevier.com/retrieve/pii/S0166223696100758 |consulté le=2019-11-07 |pages=125–131 }}</ref> : c'est la [[rétropropagation neuronale]]. L'interaction entre les potentiels post-synaptiques et cette rétropropagation semble intervenir dans la plasticité synaptique<ref>{{Article |langue=en |prénom1=Henry |nom1=Markram |prénom2=Joachim |nom2=Lübke |prénom3=Michael |nom3=Frotscher |prénom4=Bert |nom4=Sakmann |titre=Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs |périodique=Science |volume=275 |numéro=5297 |date=1997-1 |lire en ligne=https://itb.biologie.hu-berlin.de/~kempter/HippoJC/Articles/STDP/markram97.pdf |consulté le=2024-10-27 |pages=213-215 }}</ref>.

== Notes et références ==
<references />

== Voir aussi ==

* [[Rétropropagation à travers le temps]]
* [[Algorithme du gradient]]
{{portail|informatique théorique}}

[[Catégorie:Apprentissage automatique|Retropropagation]]
[[Catégorie:Algorithme|Retropropagation]]