Voir la source de Auto-encodeur

{{Infobox Méthode scientifique
| image = Autoencoder structure.png
| légende = Structure schématique d'un auto-encodeur avec une couche d'entrée <math>X</math>, trois couches cachées entièrement connectées et une couche de sortie <math>X'</math>. Le code <math>\mathbf{z}</math> est la couche cachée la plus interne.
}}
En [[intelligence artificielle]], plus précisément en [[apprentissage automatique]], un '''auto-encodeur''', ou '''auto-associateur'''<ref>{{Article|langue=français|auteur1=Tian, X.|titre=Pré-apprentissage supervisé pour les réseaux profonds|périodique=In Proceedings of Rfia|date=2010|lire en ligne=|pages=36}}.</ref>{{,}}<ref name="bengio">{{article|langue=en| nom1 = Bengio | prénom1 = Y. | doi = 10.1561/2200000006 | titre = Learning Deep Architectures for AI | journal = Foundations and Trends in Machine Learning | volume = 2 | pages = | année = 2009 | pmc = | url = http://www.iro.umontreal.ca/~lisa/pointeurs/TR1312.pdf |format=pdf |page=19}}.</ref> est un [[réseau de neurones artificiels]] utilisé pour l'[[apprentissage non supervisé]] de [[Extraction de caractéristique|caractéristiques discriminantes]]<ref>{{en}} Modeling word perception using the Elman network, Liou, C.-Y., Huang, J.-C. and Yang, W.-C., Neurocomputing, Volume 71, 3150–3157 (2008), {{doi|10.1016/j.neucom.2008.04.030}}</ref>{{,}}<ref>Autoencoder for Words, Liou, C.-Y., Cheng, C.-W., Liou, J.-W., and Liou, D.-R., Neurocomputing, Volume 139, 84–96 (2014), {{doi|10.1016/j.neucom.2013.09.055}}</ref>. L'objectif d'un auto-encodeur est d'apprendre une représentation (encodage) d'un ensemble de données, généralement dans le but de réduire la dimension de cet ensemble. Le concept d'auto-encodeur est devenu plus largement utilisé pour l'apprentissage de [[Classifieur linéaire#Modèle génératif vs. modèle discriminant|modèles génératifs]]<ref name="VAE">Auto-Encoding Variational Bayes, Kingma, D.P. and Welling, M., ArXiv e-prints, 2013 {{url|https://arxiv.org/abs/1312.6114}}</ref>{{,}}<ref name="gan_faces">{{en}} Boesen A., Larsen L. et Sonderby S.K., ''Generating Faces with Torch'', 2015 {{url|http://torch.ch/blog/2015/11/13/gan.html}}.</ref>.

== Historique ==
L'auto-encodeur a d'abord été proposé comme une généralisation non linéaire de l'[[analyse en composantes principales]] (ACP) par Kramer<ref name="Nonlinear Autoassociation Is Not Equivalent to PCA">{{Article|langue=en|prénom1=Nathalie|nom1=Japkowicz|prénom2=Stephen José|nom2=Hanson|prénom3=Mark A.|nom3=Gluck|titre=Nonlinear Autoassociation Is Not Equivalent to PCA|périodique=Neural Computation|volume=12|numéro=3|date=2000-03-01|issn=0899-7667|issn2=1530-888X|doi=10.1162/089976600300015691|lire en ligne=https://direct.mit.edu/neco/article/12/3/531-545/6350|consulté le=2023-04-18|pages=531–545}}</ref>. Aussi appelé l'auto-associateur<ref name="Nonlinear Autoassociation Is Not Equivalent to PCA" />, ou réseau Diabolo<ref>{{site web|nom1=Schwenk|prénom1=Holger|nom2=Bengio|prénom2=Yoshua|date=1997|titre=Méthodes d'entraînement pour la stimulation adaptative des réseaux de neurones|url=https://proceedings.neurips.cc/paper/1997/hash/9cb67ffb59554ab1dabb65bcb370ddd9-Abstract.html|périodique=Advances in Neural Information Processing Systems|éditeur=MIT Press}}</ref>, ses premières applications datent du début des années 1990<ref>{{site web|nom=Schmidhuber|prénom=Jürgen|date=Janvier 2015|titre=Deep learning in réseaux de neurones : un aperçu|périodique=Réseaux de neurones|pages=85–117|arxiv=1404.7828|doi=10.1016/j.neunet.2014.09.003|pmid=25462637|s2cid=11715509}}</ref>{{,}}<ref>Hinton, G.E., & Zemel, R.S. (1994). Auto-encodeurs, longueur de description minimale et énergie libre de Helmholtz. Dans ''Advances in neural information processing systems 6'' ({{p.|3-10}}).</ref>. L'application la plus traditionnelle était la [[réduction de la dimensionnalité]] ou l'[[apprentissage de représentations]], mais le concept est devenu largement utilisé pour l'apprentissage de [[Modèle génératif|modèle génératifs]] de données<ref name="VAE2">{{lien arXiv|eprint=1312.6114|class=stat.ML|auteur1=Diederik P Kingma|prénom2=Max|nom2=Welling|titre=Auto-Encoding Variational Bayes|date=2013}}</ref>{{,}}<ref name="gan_faces2">Générer des visages avec Torch, Boesen A., Larsen L. et Sonderby S.K., 2015 {{url|http://torch. ch/blog/2015/11/13/gan.html}}</ref>. Certaines des [[Intelligence artificielle|IA]] les plus puissantes des années 2010 impliquaient des auto-encodeurs empilés à l'intérieur de [[Apprentissage profond|réseaux de neurones profonds]]<ref>{{Ouvrage|prénom1=Pedro|nom1=Domingos|titre=The master algorithm : how the quest for the ultimate learning machine will remake our world|date=2015|isbn=978-0-465-06570-7|isbn2=0-465-06570-8|isbn3=978-0-465-09427-1|oclc=900623914|lire en ligne=https://www.worldcat.org/oclc/900623914|consulté le=2023-04-18}}</ref>.

== Architecture ==
La forme la plus simple d'un auto-encodeur est un réseau de neurones non récurrents qui se propage vers l'avant, très semblable au [[Perceptron multicouche|perceptron multicouches]]. L'auto-encodeur a une couche d'entrée <math>X</math>, une couche de sortie <math>X'</math> ainsi qu'une ou plusieurs couches cachées les reliant. Toutefois la couche de sortie possède le même nombre de nœuds que la couche d'entrée ; autrement dit <math>X</math> et <math>X'</math>ont le même nombre de dimensions. Le ''code'' <math>\mathbf{z}</math> (aussi appelé ''variables latentes'' ou ''représentation latente'') est la couche cachée la plus interne. Elle représente <math>X</math> mais dans un espace avec moins de dimensions.

L'objectif de l'auto-encodeur est de reconstruire ses entrées : prédire une valeur cible <math>X'</math> la plus proche des entrées <math>X</math> (plutôt que de prédire une valeur cible <math>Y</math> étant donné les entrées <math>X</math>). Par conséquent, un auto-encodeur est un modèle d'[[apprentissage non supervisé]].

=== Formalisation générale ===
Plus formellement, un auto-encodeur se compose toujours de deux parties, l{{'}}''encodeur'' et le ''décodeur'', qui peuvent être définies comme des transitions <math>\phi</math> et <math>\psi</math>, telles que : 

:<math>\phi:\mathcal{X} \rightarrow \mathcal{F}</math>
:<math>\psi:\mathcal{F} \rightarrow \mathcal{X}</math>
:<math>\phi,\psi = \arg \min_{\phi,\psi} \|X-(\psi \circ \phi) X\|^2</math>

où <math>\mathcal{X} = \mathbb{R}^d</math> est l'espace où sont <math>X</math> et <math>X'</math>, et où <math>\mathcal{F} =  \mathbb{R}^p</math> est l'espace où est le code <math>\mathbf{z}</math>.

Généralement, l'espace caractéristique <math>\mathcal{F}</math> possède une dimension inférieure à celui de l'espace d'entrée <math>\mathcal{X}</math>. Ainsi le vecteur caractéristique <math>\phi(x)</math> peut être considéré comme une représentation [[Compression de données|compressée]] de <math>x</math> . Si les couches cachées possèdent une taille plus grande que celle de la couche d'entrée, l'auto-encodeur peut potentiellement apprendre la [[Application identité|fonction identité]] et devenir sans intérêt. Toutefois, des résultats expérimentaux ont montré que dans ce genre de cas, l'auto-encodeur pouvait malgré tout apprendre des caractéristiques utiles<ref name="bengio" />{{rp|19}}.

=== Architecture avec une seule couche cachée ===
Lorsqu'il n'y a qu'une seule couche cachée, l'étape d'encodage prend l'entrée <math>\mathbf{x} \in \mathcal{X}</math> et l'associe au code <math>\mathbf{z} \in  \mathcal{F}</math> par la relation :

:<math>\mathbf{z} = \sigma(\mathbf{Wx}+\mathbf{b})</math>

où <math>\sigma</math> est une [[fonction d'activation]], (e.g. la sigmoïde ou la fonction ReLU), <math>\mathbf{W}</math> une matrice de poids et <math>\mathbf{b}</math> un vecteur de biais.

Ensuite, l'étape de décodage associe <math>\mathbf{z}</math> à la ''reconstruction'' <math>\mathbf{x'}</math> de forme identique à <math>\mathbf{x}</math> :

:<math>\mathbf{x'} = \sigma'(\mathbf{W'z}+\mathbf{b'})</math>

où les <math>\mathbf{\sigma'}, \mathbf{W'}, \text{ et }\mathbf{b'}</math> du décodeur peuvent différer ou non des <math>\mathbf{\sigma}, \mathbf{W}, \text{ et } \mathbf{b}</math> de l'encodeur, selon la conception de l'auto-encodeur.

Un auto-encodeur est aussi entrainé pour minimiser l'erreur de reconstruction, e.g., [[Erreur quadratique moyenne|erreur quadratique]] :

:<math>\mathcal{L}(\mathbf{x},\mathbf{x'})=\|\mathbf{x}-\mathbf{x'}\|^2=\|\mathbf{x}-\sigma'(\mathbf{W'}(\sigma(\mathbf{Wx}+\mathbf{b}))+\mathbf{b'})\|^2</math>

où <math>\mathbf{x}</math> est généralement la moyenne d'un ensemble de données d'apprentissage.

=== Variations ===
Différentes techniques existent pour empêcher un auto-encodeur d'apprendre la fonction identité et améliorer sa capacité à apprendre des représentations plus riches :

==== Auto-encodeur débruiteur ====
Un auto-encodeur débruiteur prend une entrée partiellement corrompue et apprend à récupérer l'entrée originale débruitée. Cette technique a été introduite avec une approche spécifique d'une bonne représentation<ref name="ref9">{{article|langue=en
 | nom1 = Vincent 
 | prénom1 = Pascal
 | nom2 = Larochelle
 | prénom2 = Hugo
 | nom3 = Lajoie 
 | prénom3 = Isabelle
 | nom4 = Bengio
 | prénom4 = Yoshua
 | nom5 = Manzagol
 | prénom5 = Pierre-Antoine
 | titre = Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion
 | journal = The Journal of Machine Learning Research
 | volume = 11
 | pages = 3371–3408
 | date = 2010
 | url = http://dl.acm.org/citation.cfm?id=1953039}}</ref>. ''Une bonne représentation est celle qui peut être obtenue de manière robuste à partir d'une entrée corrompue et qui sera utile pour récupérer l'entrée débruitée correspondante''. Cette définition contient les hypothèses implicites suivantes :

* Les représentations de haut-niveau sont relativement stables et robustes à la corruption de l'entrée;
* Il est nécessaire d'extraire des caractéristiques qui soient utiles pour la représentation de la distribution d'entrée.

Pour entrainer un auto-encodeur à débruiter des données, il est nécessaire d'effectuer un mappage stochastique préliminaire <math>\mathbf{x}\rightarrow\mathbf{\tilde{x}}</math> afin de corrompre les données et d'utiliser <math>\mathbf{\tilde{x}}</math> comme entrée d'un auto-encodeur classique, avec comme seule exception de calculer la [[Fonction objectif|perte]] pour l'entrée initiale <math>\mathcal{L}(\mathbf{x},\mathbf{\tilde{x}'})</math> au lieu de <math>\mathcal{L}(\mathbf{\tilde{x}},\mathbf{\tilde{x}'})</math>.

==== Auto-encodeur épars ====
En imposant la parcimonie sur les unités cachées durant l'apprentissage (tout en ayant un plus grand nombre d'unités cachées que d'entrées), un auto-encodeur peut apprendre des structures utiles dans les données d'entrées. Cela permet de représenter de façon éparse les entrées, ces représentations pouvant être utilisées pour le pré-entrainement de tâches de classification.

La parcimonie peut être obtenue en ajoutant des termes additionnels à la fonction objectif durant l'apprentissage (en comparant la [[Loi de probabilité|distribution de probabilité]] des couches cachées avec une valeur faible désirée)<ref>{{Lien web|langue=anglais|titre=Sparse autoencoder|url=https://web.stanford.edu/class/cs294a/sparseAutoencoder.pdf|date=}}</ref>, ou en réduisant manuellement à 0 toutes sauf les quelques activations d'unités cachées les plus fortes (appelé auto-encodeur k-épars)<ref>{{Article|prénom1=Alireza|nom1=Makhzani|prénom2=Brendan|nom2=Frey|titre=k-Sparse Autoencoders|périodique=arXiv:1312.5663 [cs]|date=2013-12-19|lire en ligne=https://arxiv.org/abs/1312.5663|consulté le=2017-05-23}}</ref>.

==== Auto-encodeur variationnel ====
Le modèle d'auto-encodeur variationnel hérite de l'architecture de l'auto-encodeur, mais fait des hypothèses fortes concernant la distribution des variables latentes. Il utilise l'approche variationnelle pour l'apprentissage de la représentation latente, ce qui se traduit par une composante de perte additionnelle et un algorithme d'apprentissage spécifique fondé sur un estimateur bayésien variationnel du gradient stochastique<ref name="VAE" />. Il suppose que les données sont produites par un [[modèle graphique]] orienté <math>p(\mathbf{x}|\mathbf{z})</math> et que l'encodeur apprend une approximation <math>q_{\phi}(\mathbf{z}|\mathbf{x})</math> de la distribution ''a posteriori'' <math>p_{\theta}(\mathbf{x}|\mathbf{z})</math> où <math>\mathbf{\phi}</math> et <math>\mathbf{\theta}</math> désignent respectivement les paramètres de l'encodeur (modèle de reconnaissance) et du décodeur (modèle génératif). L'objectif de l'auto-encodeur, dans ce cas ci, a la forme suivante : 

:<math>\mathcal{L}(\mathbf{\phi},\mathbf{\theta},\mathbf{x})=D_{KL}(q_{\phi}(\mathbf{z}|\mathbf{x})||p_{\theta}(\mathbf{z}))-\mathbb{E}_{q_{\phi}(\mathbf{z}|\mathbf{x})}\big(\log p_{\theta}(\mathbf{x}|\mathbf{z})\big)</math>

<math>D_{KL}</math> note la [[divergence de Kullback-Leibler]]. L'''a priori'' sur les variables latentes est habituellement défini comme une gaussienne multivariée isotrope centrée <math>p_{\theta}(\mathbf{z})=\mathcal{N}(\mathbf{0,I})</math>. Des configurations alternatives sont possibles<ref> Harris Partaourides and Sotirios P. Chatzis, “Asymmetric Deep Generative Models,” Neurocomputing, vol. 241, {{p.|90-96}}, June 2017. [http://www.sciencedirect.com/science/article/pii/S0925231217302989] </ref>.

==== Auto-encodeur contractif ====
L'auto-encodeur contractif ajoute une régularisation explicite dans sa fonction objectif qui force le modèle à apprendre une fonction robuste aux légères variations des valeurs d'entrées. Cette régularisation correspond à la [[Norme matricielle|norme de Frobenius]] de la [[Matrice jacobienne|matrice Jacobienne]] des activations de l'encodeur par rapport à l'entrée. La fonction objectif finale à la forme suivante :
:<math>\mathcal{L}(\mathbf{x},\mathbf{x'}) + \lambda \sum_i || \nabla_x h_i ||^2</math>

=== Relation avec la décomposition en valeurs singulières tronquée ===
Si des activations linéaires sont utilisées, ou uniquement une seule couche cachée sigmoïde, la solution optimale d'un auto-encodeur est apparentée à une [[analyse en composantes principales]]<ref>{{article|langue=en| nom1 = Bourlard | prénom1 = H. | nom2 = Kamp | prénom2 = Y. | doi = 10.1007/BF00332918 | titre = Auto-association by multilayer perceptrons and singular value decomposition | journal = Biological Cybernetics | volume = 59 | numéro = 4–5 | pages = 291–294 | année = 1988 | pmid =  3196773| pmc = }}</ref>.

== Apprentissage ==
L'algorithme d'apprentissage d'un auto-encodeur peut être résumé comme suit :

:Pour chaque entrée {{mvar|x}},
::Effectuer un passage vers l'avant afin de calculer les activations sur toutes les couches cachées, puis sur la couche de sortie pour obtenir une sortie <math>\mathbf{x'}</math>,
::Mesurer l'écart entre <math>\mathbf{x'}</math> et l'entrée <math>\mathbf{x}</math>, généralement en utilisant l'[[Erreur quadratique moyenne|erreur quadratique]],
::[[Rétropropagation du gradient|Rétropropager]] l'erreur vers l'arrière et effectuer une mise à jour des poids.

Un auto-encodeur est bien souvent entrainé en utilisant l'une des nombreuses variantes de la [[Rétropropagation du gradient|rétropropagation]], e.g., [[méthode du gradient conjugué]], [[algorithme du gradient]]. Bien que cela fonctionne de manière raisonnablement efficace, il existe des problèmes fondamentaux concernant l'utilisation de la rétropopagation avec des réseaux possédant de nombreuses couches cachées. Une fois les erreurs rétropropagées aux premières couches, elles deviennent minuscules et insignifiantes. Cela signifie que le réseau apprendra presque toujours à reconstituer la moyenne des données d'entrainement. Bien que les variantes de la rétropropagation soient capables, dans une certaine mesure, de résoudre ce problème, elles résultent toujours en un apprentissage lent et peu efficace. Ce problème peut toutefois être résolu en utilisant des poids initiaux proches de la solution finale. Le processus de recherche de ces poids initiaux est souvent appelé pré-entrainement.

Geoffrey Hinton a développé une technique de pré-entrainement pour l'auto-encodeur profond. Cette méthode consiste à traiter chaque ensemble voisin de deux couches comme une [[machine de Boltzmann restreinte]] de sorte que le pré-entrainement s'approche d'une bonne solution, puis utiliser la technique de rétropropagation pour affiner les résultats<ref>[http://www.sciencemag.org/cgi/content/abstract/313/5786/504 Reducing the Dimensionality of Data with Neural Networks] (Science, 28 July 2006, Hinton & Salakhutdinov)</ref>. Ce modèle porte le nom de réseau de croyance profonde.

== Références ==

{{Références}}

== Voir aussi ==

=== Articles connexes ===
* [[Machine de Boltzmann restreinte]]
* [[Auto-encodeur variationnel]]
{{Palette|Apprentissage automatique}}
{{Portail|informatique théorique|Données}}

[[Catégorie:Réseau de neurones artificiels]]