Voir la source de Auto-encodeur variationnel

{{Infobox Méthode scientifique
| image = 
| légende = 
}}
{{Résumé introductif|date=juin 2024}}
En [[apprentissage automatique]], un '''auto-encodeur variationnel''' (ou '''VAE''' de l'anglais ''variational auto encoder'')<ref name=":0">{{Lien arXiv |langue=en |prénom1=Diederik P. |nom1=Kingma |prénom2=Max |nom2=Welling|titre=Auto-Encoding Variational Bayes |eprint=1312.6114 |date=2014-05-01 }}.</ref> est une architecture de [[réseau de neurones artificiels]] introduite en 2013 par D. Kingma et M. Welling, appartenant aux familles des [[Modèle graphique|modèles graphiques probabilistes]] et des méthodes bayésiennes variationnelles.

Les VAE sont souvent rapprochés des [[Auto-encodeur|autoencodeurs]]<ref>{{Article|langue=en|auteur1=Kramer|prénom1=Mark A.|titre=Nonlinear principal component analysis using autoassociative neural networks|périodique=AIChE Journal|volume=37|numéro=2|date=1991|doi=10.1002/aic.690370209|lire en ligne=https://aiche.onlinelibrary.wiley.com/doi/abs/10.1002/aic.690370209|pages=233–243}}</ref>{{,}}<ref>{{Article|langue=en|auteur1=Hinton|prénom1=G. E.|auteur2=Salakhutdinov|prénom2=R. R.|titre=Reducing the Dimensionality of Data with Neural Networks|périodique=Science|volume=313|numéro=5786|date=2006-07-28|pmid=16873662|doi=10.1126/science.1127647|bibcode=2006Sci...313..504H|lire en ligne=https://science.sciencemag.org/content/313/5786/504.abstract?casa_token=ZLsQ9vPfFA4AAAAA:3iBJRtRFr9RzkbbGpAJQtghIAndmRGEPVxW-yixDgfiXqWuuaQs8WjDMf-fkzTIe8RKn_J9o1aFozD4|pages=504–507|s2cid=1658773}}.</ref>  dont ils sont une évolution. Leur utilisation et leur formulation mathématiques sont cependant différentes.

Les auto-encodeurs variationnels permettent de formuler un problème d'inférence statistique (par exemple, déduire la valeur d'une [[variable aléatoire]] à partir d'une autre variable aléatoire) en un problème d'optimisation statistique (c'est-à-dire trouver les valeurs de paramètres qui minimisent une [[fonction objectif]])<ref>{{Lien web |langue=en |titre=A Beginner's Guide to Variational Methods: Mean-Field Approximation |url=https://blog.evjang.com/2016/08/variational-bayes.html |série=Eric Jang |date=2016-07-08}}</ref>. Ils représentent une fonction associant à une valeur d'entrée une distribution latente multivariée, qui n'est pas directement observée mais déduite depuis un modèle mathématique à partir de la distribution d'autres variables. Bien que ce type de modèle ait été initialement conçu pour l'[[apprentissage non supervisé]]<ref>{{Ouvrage|prénom1=Wei-Ning|nom1=Hsu|prénom2=Yu|nom2=Zhang|prénom3=James|nom3=Glass|titre=2017 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)|date=December 2017|pages totales=16–23|isbn=978-1-5090-4788-8|doi=10.1109/ASRU.2017.8268911|arxiv=1707.06265|s2cid=22681625|titre chapitre=Unsupervised domain adaptation for robust speech recognition via variational autoencoder-based data augmentation}}</ref>, son efficacité a été prouvée pour l'[[apprentissage semi-supervisé]]<ref>{{Ouvrage|prénom1=M.|nom1=Ehsan Abbasnejad|prénom2=Anthony|nom2=Dick|prénom3=Anton|nom3=van den Hengel|titre=Infinite Variational Autoencoder for Semi-Supervised Learning|date=2017|pages totales=5888–5897|lire en ligne=https://openaccess.thecvf.com/content_cvpr_2017/html/Abbasnejad_Infinite_Variational_Autoencoder_CVPR_2017_paper.html}}</ref>{{,}}<ref>{{Article|langue=en|auteur1=Xu|prénom1=Weidi|auteur2=Sun|prénom2=Haoze|auteur3=Deng|prénom3=Chao|auteur4=Tan|prénom4=Ying|titre=Variational Autoencoder for Semi-Supervised Text Classification|périodique=Proceedings of the AAAI Conference on Artificial Intelligence|volume=31|numéro=1|date=2017-02-12|lire en ligne=https://ojs.aaai.org/index.php/AAAI/article/view/10966}}</ref> et l'[[apprentissage supervisé]]<ref>{{Article|auteur1=Kameoka|prénom1=Hirokazu|auteur2=Li|prénom2=Li|auteur3=Inoue|prénom3=Shota|auteur4=Makino|prénom4=Shoji|titre=Supervised Determined Source Separation with Multichannel Variational Autoencoder|périodique=Neural Computation|volume=31|numéro=9|date=2019-09-01|pmid=31335290|doi=10.1162/neco_a_01217|lire en ligne=https://direct.mit.edu/neco/article/31/9/1891/8494/Supervised-Determined-Source-Separation-with|pages=1891–1914|s2cid=198168155}}</ref>.

== Architecture ==
Dans un VAE, les données d'entrée sont échantillonnées à partir d'une distribution paramétrée (la distribution a priori, en termes d'[[inférence bayésienne]]), et l'encodeur et le décodeur sont entraînés conjointement de sorte que la sortie minimise une erreur de reconstruction dans le sens de la [[divergence de Kullback-Leibler]] entre la distribution paramétrique postérieure et la vraie distribution a posteriori<ref name=":2">An, J., & Cho, S. (2015). Variational autoencoder based anomaly detection using reconstruction probability. ''Special Lecture on IE'', ''2''(1).</ref>{{,}}<ref>{{Article|auteur1=Kingma|prénom1=Diederik P.|auteur2=Welling|prénom2=Max|titre=An Introduction to Variational Autoencoders|périodique=Foundations and Trends in Machine Learning|volume=12|numéro=4|date=2019|issn=1935-8237|doi=10.1561/2200000056|arxiv=1906.02691|pages=307–392|s2cid=174802445}}</ref>.

== Formulation ==
[[Fichier:VAE_Basic.png|vignette|425x425px| Le schéma de base d'un auto-encodeur variationnel. Le modèle reçoit <math>\mathbf{x}</math> comme entrée. L'encodeur le comprime dans l'espace latent. Le décodeur reçoit en entrée les informations prélevées dans l'espace latent et produit <math>\mathbf{x'}</math> aussi semblable que possible à <math>\mathbf{x}</math> .]]
On note <math>\mathbf{x}</math> le vecteur contenant l'ensemble des variables observées que l'on souhaite modéliser. Ce vecteur est une variable aléatoire, caractérisé par une [[Loi de probabilité|distribution de probabilité]] inconnue <math>P(\mathbf{x})</math>, que l'on souhaite approximer par une distribution paramétrée <math>p_\theta</math> ayant pour paramètres <math>\theta</math>.

On introduit alors un vecteur aléatoire <math>\mathbf{z}</math> distribué conjointement avec <math>\mathbf x</math> (c'est-à-dire dont la loi de probabilité n'est pas indépendante de celle de <math>\mathbf x</math>). Ce vecteur <math>\mathbf z </math> représente un encodage latent de <math>\mathbf x </math>, que l'on ne peut observer directement.

On exprime alors la distribution <math>p_\theta</math> via la [[Loi de probabilité marginale|loi de probablitié marginale]] sur <math>\mathbf z</math>, ce qui donne alors:

: <math>p_\theta(\mathbf{x}) = \int_{\mathbf{z}}p_\theta(\mathbf{x,z}) \, d\mathbf{z}, </math>

où <math>p_\theta(\mathbf{x,z})</math> représente la [[Loi de probabilité à plusieurs variables|distribution conjointe]] sous <math>p_\theta</math> des données observables <math>\mathbf x </math> et de leur représentation latente <math>\mathbf z </math>. Selon la [[formule des probabilités composées]], l'équation peut être réécrite comme

: <math>p_\theta(\mathbf{x}) = \int_{\mathbf{z}}p_\theta(\mathbf{x\mid z})p_\theta(\mathbf{z}) \, d\mathbf{z}</math>

Dans l'auto-encodeur variationnel classique, on fait l'hypothèse que <math>\mathbf{z}</math> est un vecteur à valeur réelles de dimension finie, et <math>p_\theta(\mathbf{x|z})</math> suit une [[loi normale]]. Par conséquent, <math>p_\theta(\mathbf{x})</math> est un mélange de [[Distribution gaussienne|distributions gaussiennes]].

On peut voir les relations entre les données d'entrée et leur représentation latente comme un problème d'[[inférence bayésienne]] avec

* <math>p_\theta(\mathbf{z})</math> représente la distribution probabilité a priori dans l'espace latent
* <math>p_\theta(\mathbf{x}\mid\mathbf{z})</math> représente la vraisemblance
* <math>p_\theta(\mathbf{z}\mid\mathbf{x})</math> représente la distribution de probabilité a posteriori

Malheureusement, le calcul de <math>p_\theta(\mathbf{x})</math> est au mieux coûteux, et dans la plupart des cas, impossible. Pour résoudre ce problème, il est nécessaire d'introduire une autre fonction <math>q_\Phi</math> pour approximer la distribution a posteriori : 

: <math>q_\Phi(\mathbf{z\mid x}) \approx p_\theta(\mathbf{z\mid x})</math>

où <math>\Phi</math> est l'ensemble des paramètres de <math>q</math> .

Ainsi le problème est formulé pour pouvoir être appliqué dans une [[architecture de réseau]] de neurones [[auto-encodeur]], dans lequel la distribution de vraisemblance conditionnelle <math>p_\theta(\mathbf{x}\mid\mathbf{z})</math> est représentée par un ''décodeur probabiliste'', tandis que la distribution a posteriori approchée <math>q_\Phi(\mathbf{z}\mid\mathbf{x})</math> est représentée par un ''codeur probabiliste''. La mise en œuvre d'un VAE consistera donc à calculer les valeurs optimales des paramètres <math>\theta</math> et <math>\Phi</math> par un [[apprentissage automatique]].

== Fonction de perte ELBO ==
Comme dans tout problème d'[[apprentissage profond]], il est nécessaire de définir une fonction de perte différentiable afin de mettre à jour les poids du réseau par [[Rétropropagation du gradient|rétropropagation]] lors de l'apprentissage.

Pour les auto-encodeurs variationnels, l'idée est de minimiser conjointement les paramètres du modèle génératif <math>\theta</math> pour réduire l'erreur de reconstruction entre l'entrée et la sortie, et <math>\Phi</math> pour avoir <math>q_\Phi(\mathbf{z\mid x})</math>, la distribution postérieure approchée, le plus près possible de <math>p_\theta(\mathbf{z}\mid\mathbf{x})</math>, la vraie distribution de probabilité ''a posteriori''.

Comme fonction de coût pour la reconstruction, l'[[erreur quadratique moyenne]] et l'[[entropie croisée]] sont souvent utilisées.

Pour la fonction de coût de distance entre les deux distributions, la divergence inverse de Kullback – Leibler <math>D_{KL}(q_\Phi(\mathbf{z\mid x})\parallel p_\theta(\mathbf{z\mid x}))</math> est un bon choix pour pousser <math>q_\Phi(\mathbf{z\mid x})</math> en dessous de <math>p_\theta(\mathbf{z}\mid\mathbf{x})</math><ref name=":0" />{{,}}<ref>{{Lien web |langue=en |titre=From Autoencoder to Beta-VAE |url=https://lilianweng.github.io/lil-log/2018/08/12/from-autoencoder-to-beta-vae.html |série=Lil'Log |date=2018-08-12}}</ref>.

== Reparamétrisation ==
[[Fichier:Reparameterization_Trick.png|vignette|300x300px| Le schéma de l'astuce de reparamétrisation. La variable aléatoire <math>\mathbf{\varepsilon}</math> est injecté dans l'espace latent, non observé, <math>\mathbf{z}</math> comme entrée externe. De cette manière, il est possible de rétropropager le gradient sans impliquer de variable stochastique lors de la mise à jour.]]
Pour rendre la formulation ELBO adaptée à des fins d'apprentissage, il est nécessaire de modifier légèrement la formulation du problème et la structure du VAE<ref>{{Article|auteur1=Bengio|prénom1=Yoshua|auteur2=Courville|prénom2=Aaron|auteur3=Vincent|prénom3=Pascal|titre=Representation Learning: A Review and New Perspectives|périodique=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=35|numéro=8|année=2013|issn=1939-3539|pmid=23787338|doi=10.1109/TPAMI.2013.50|arxiv=1206.5538|lire en ligne=https://ieeexplore.ieee.org/abstract/document/6472238?casa_token=wQPK9gUGfCsAAAAA:FS5uNYCQVJGH-bq-kVvZeTdnQ8a33C6qQ4VUyDyGLMO13QewH3wcry9_Jh-5FATvspBj8YOXfw|pages=1798–1828|s2cid=393948}}</ref>.

L'échantillonnage stochastique est l'opération non différentiable par laquelle il est possible d'échantillonner à partir de l'espace latent et d'alimenter le décodeur probabiliste.

L'hypothèse principale sur l'espace latent est qu'il peut être considéré comme un ensemble de distributions gaussiennes multivariées, et peut donc être décrit comme

: <math>\mathbf{z} \sim q_\Phi(\mathbf{z}\mid\mathbf{x}) = \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\sigma}^2)</math> .[[Fichier:Reparameterized_Variational_Autoencoder.png|vignette|300x300px| Le schéma d'un auto-encodeur variationnel après l'astuce de reparamétrisation.]]

Étant donné <math>\boldsymbol{\varepsilon} \sim \mathcal{N}(0, \boldsymbol{I})</math> et <math>\odot</math> défini comme le produit élément par élément, l'astuce de reparamétrisation modifie l'équation ci-dessus comme

: <math>\mathbf{z} = \boldsymbol{\mu} + \boldsymbol{\sigma} \odot \boldsymbol{\varepsilon}. </math>

Grâce à cette transformation (qui peut être étendue à des distributions non gaussiennes), le VAE devient entraînable et le codeur probabiliste doit apprendre à mapper une représentation compressée de l'entrée dans les deux vecteurs latents <math>\boldsymbol{\mu} </math> et <math>\boldsymbol{\sigma} </math>, tandis que la stochasticité reste exclue du processus de mise à jour et est injectée dans l'espace latent en tant qu'entrée externe via le vecteur aléatoire <math>\boldsymbol{\varepsilon} </math> .

== Références ==
{{Références}}
{{Palette|Apprentissage automatique}}
{{Portail|informatique théorique|intelligence artificielle|Données}}

[[Catégorie:Statistique bayésienne]]
[[Catégorie:Réseau de neurones artificiels]]
[[Catégorie:Pages avec des traductions non relues]]