Réseaux antagonistes génératifs de Wasserstein

Modèle:Infobox Méthode scientifiqueLes réseaux antagonistes génératifs de Wasserstein (en anglais Wasserstein Generative Adversarial Network d'où WGAN et Wasserstein GAN) sont une variante des réseaux antagonistes génératifs (GAN), proposée en 2017 qui vise à « améliorer la stabilité de l'apprentissage, à éliminer les problèmes tels que l'effondrement sur les modes et à fournir des courbes d'apprentissage utiles pour le débogage et la recherche d'hyperparamètres »Modèle:,.

Comparé au discriminateur d'un GAN traditionnel, le discriminateur d'un GAN de Wasserstein, souvent appelé critique, fournit un meilleur signal d'apprentissage pour le générateur. Cela permet à l'entraînement d'être plus stable lorsque le générateur apprend des distributions dans des espaces de très grande dimension.

Motivation

GAN

Modèle:Article détaillé Un GAN classique est basée sur un jeu à somme nulle entre 2 joueurs : générateur et discriminateur. Le jeu est défini sur un espace de probabilité $(\mathrm{\Omega },ℬ,{\mu }_r)$. L'ensemble de stratégies du générateur est l'ensemble de toutes les mesures de probabilité ${\mu }_G$ sur $(\mathrm{\Omega },ℬ)$, et l'ensemble de stratégies du discriminateur est l'ensemble des fonctions mesurables $D:\mathrm{\Omega }\to [0,1]$.

L'objectif du jeu est le suivant :$$L({\mu }_G,D):={𝔼}_{x\sim {\mu }_{ref}}[\ln D(x)]+{𝔼}_{x\sim {\mu }_G}[\ln (1-D(x))].$$ Le générateur vise à le minimiser, tandis que le discriminateur vise à le maximiser.

Un théorème de base du jeu GAN stipule que :

Répétez ce jeu plusieurs fois, à chaque fois avec le générateur se déplaçant en premier suivit par l discriminateur. Chaque fois que le générateur ${\mu }_G$ change, le discriminateur doit s'adapter en se rapprochant de l'idéal :$$D^{*}(x)=\frac{d{\mu }_r}{d({\mu }_r+{\mu }_G)}.$$Puisque nous sommes vraiment intéressés par ${\mu }_r$, la fonction discriminatrice $D$ est en soi plutôt inintéressante. Elle suit simplement le rapport de vraisemblance entre la distribution du générateur et la distribution de référence. À l'équilibre, le discriminateur ne fait que produire $\frac{1}{2}$ constamment, ayant renoncé à tenter de percevoir une quelconque différence. En pratique, le générateur ne pourrait jamais atteindre l'imitation parfaite, et le discriminateur serait donc motivé pour percevoir la différence, ce qui lui permet d'être utilisé pour d'autres tâches, telles que la classification d'ImageNet sans supervision.

Concrètement, dans un GAN, si on a un générateur ${\mu }_G$, et un discriminateur qu'on améliore pas à pas, où on dénote ${\mu }_{D,t}$ le discriminateur à l'étape $t$; alors nous avons (idéalement) que :$$L({\mu }_G,{\mu }_{D,1})\le L({\mu }_G,{\mu }_{D,2})\le \cdots \le \underset{{\mu }_D}{\max }L({\mu }_G,{\mu }_D)=2D_{JS}({\mu }_r\Vert {\mu }_G)-2\ln 2,$$ nous voyons donc que le discriminateur est en fait une limite inférieure $D_{JS}({\mu }_r\Vert {\mu }_G)$.

Distance de Wasserstein

Modèle:Article détaillé Ainsi, nous voyons que le rôle du discriminateur est principalement de fournir un retour d'information au générateur, sur à quel point celui-ci est loin de la perfection, où « loin » est défini comme cette divergence de Jensen-Shannon.

Naturellement, cela apporte la possibilité d’utiliser une fonction objectif différente. Il existe de nombreuses divergences possibles parmi lesquelles choisir, comme la famille des divergences f, qui donnerait le f-GAN.

Le GAN de Wasserstein est obtenu en utilisant la distance de Wasserstein. Celle-ci satisfait le « théorème de la dualité de Kantorovich-Rubenstein  ». Cette dualité peut être utilisée ce qui rend l'algorithme très efficace à calculer : Modèle:Théorème

Définition

Selon la dualité de Rubenstein-Kantorovitch, la définition du GAN de Wasserstein est claire : Modèle:Citation bloc Par la dualité de Kantorovitch-Rubenstein, pour toute stratégie génératrice ${\mu }_G$, la réponse optimale du discriminateur est $D^{*}$, tel que $$L_{WGAN}({\mu }_G,D^{*})=K\cdot W_1({\mu }_G,{\mu }_r).$$ Par conséquent, si le discriminateur est bon, le générateur serait constamment poussé à minimiser $W_1({\mu }_G,{\mu }_r)$, et la stratégie optimale pour le générateur est simplement ${\mu }_G={\mu }_r$, comme il se doit.

Comparaison avec le GAN classique

Dans le GAN de Wasserstein, le discriminateur fournit un meilleur gradient que dans le GAN traditionnel.

Considérons par exemple un jeu sur les réels où les deux ${\mu }_G$ et ${\mu }_r$ sont gaussiennes. Ensuite, le critique optimal de Wasserstein $D_{WGAN}$ et le discriminateur GAN optimal $D$ sont représentés comme ci-dessous :

Le critique optimal du Wasserstein GAN $D_{WGAN}$ et le discriminateur optimal $D$ du GAN pour une distribution de référence fixe ${\mu }_r$ et la distribution de générateur ${\mu }_G$ . Le critique de Wasserstein $D_{WGAN}$ et le discriminateur$D$ du GAN sont réduits pour s'adapter à l'intrigue.

Pour un discriminateur fixé, le générateur doit minimiser les objectifs suivants :

• Dans un GAN, ${𝔼}_{x\sim {\mu }_G}[\ln (1-D(x))]$ .
• Dans un GAN de Wasserstein, ${𝔼}_{x\sim {\mu }_G}[D_{WGAN}(x)]$ .

Soit ${\mu }_G$ paramétré par $\theta$, nous pouvons alors effectuer une descente de gradient stochastique en utilisant deux estimateurs non biaisés du gradient : $${\mathrm{\nabla }}_{\theta }{𝔼}_{x\sim {\mu }_G}[\ln (1-D(x))]={𝔼}_{x\sim {\mu }_G}[\ln (1-D(x))\cdot {\mathrm{\nabla }}_{\theta }\ln {\rho }_{{\mu }_G}(x)]$$$${\mathrm{\nabla }}_{\theta }{𝔼}_{x\sim {\mu }_G}[D_{WGAN}(x)]={𝔼}_{x\sim {\mu }_G}[D_{WGAN}(x)\cdot {\mathrm{\nabla }}_{\theta }\ln {\rho }_{{\mu }_G}(x)]$$ où nous avons utilisé l'Modèle:Lien. Ce n'est pas ainsi que les choses se passent dans la pratique, puisque

${\mathrm{\nabla }}_{\theta }\ln {\rho }_{{\mu }_G}(x)$

est en général introuvable, mais c'est éclairant sur le plan théorique.

Le même scénario, mais avec le discriminateur GAN $D$ remplacé par $\ln (1-D)$ (et réduit pour s'adapter à l'intrigue)

Comme indiqué, le générateur dans un GAN classique est motivé pour laisser son ${\mu }_G$ « glisser vers le bas du sommet » de $\ln (1-D(x))$ . Il en va de même pour le générateur d'un GAN de Wasserstein.

Pour un GAN de Wasserstein, $D_{WGAN}$ a un gradient de 1 presque partout, tandis que pour GAN, $\ln (1-D)$ a un gradient nul au milieu et un gradient impotant ailleurs. Par conséquent, la variance de l’estimateur dans le GAN est généralement beaucoup plus grande que celle dans le GAN de Wasserstein.

Le problème avec $D_{JS}$ est beaucoup plus grave dans les situations réelles d’apprentissage automatique. Envisagez de former un GAN pour générer ImageNet, une collection de photos de taille 256 x 256. L'espace de toutes ces photos est ${ℝ}^{256^2}$, et la distribution des images ImageNet, ${\mu }_r$, se concentre sur une variété de dimension beaucoup plus faible en elle. Par conséquent, toute stratégie de générateur ${\mu }_G$ serait presque sûrement entièrement disjointe de ${\mu }_r$, rendant $D_{JS}({\mu }_G\Vert {\mu }_r)=+\mathrm{\infty }$. Ainsi, un bon discriminateur peut presque parfaitement distinguer ${\mu }_r$ de ${\mu }_G$, ainsi que tout ${{\mu }_G}^{\prime }$ proche de ${\mu }_G$. Ainsi, le gradient ${\mathrm{\nabla }}_{{\mu }_G}L({\mu }_G,D)\approx 0$, ne créant aucun signal d'apprentissage pour le générateur.

Entraînement d'un GAN de Wasserstein

L'entraînement du générateur dans un GAN de Wasserstein est une descente de gradient, la même que dans un GAN (ou pour la plupart des méthodes d'apprentissage profond), mais l'entraînement du discriminateur est différent, car le discriminateur est désormais limité par une norme Lipschitz bornée. Il existe plusieurs méthodes pour imposer cette condition.

Limite supérieure de la norme Lipschitz

Laissez la fonction discriminatrice $D$ à mettre en œuvre par un perceptron multicouche : $$D=D_n\circ D_{n-1}\circ \cdots \circ D_1$$ où $D_i(x)=h(W_{i}x)$, et $h:ℝ\to ℝ$ est une fonction d'activation fixe avec $\underset{x}{\sup }|h^{\prime }(x)|\le 1$ . Par exemple, la fonction tangente hyperbolique $h=\tanh$ satisfait à l'exigence.

Ensuite, pour tout $x$, posons $x_i=(D_i\circ D_{i-1}\circ \cdots \circ D_1)(x)$, nous avons par la règle de la chaîne : $$dD(x)=diag(h^{\prime }(W_n{x}_{n-1}))\cdot W_n\cdot diag(h^{\prime }(W_{n-1}{x}_{n-2}))\cdot W_{n-1}\cdots diag(h^{\prime }(W_{1}x))\cdot W_1\cdot dx$$ Ainsi, la norme Lipschitz de $D$ est délimité par $$\Vert D{\Vert }_L\le \underset{x}{\sup }\Vert diag(h^{\prime }(W_n{x}_{n-1}))\cdot W_n\cdot diag(h^{\prime }(W_{n-1}{x}_{n-2}))\cdot W_{n-1}\cdots diag(h^{\prime }(W_{1}x))\cdot W_1{\Vert }_F$$ où $\Vert \cdot {\Vert }_s$ est la norme de l'opérateur de la matrice, c'est-à-dire la plus grande valeur singulière de la matrice, c'est-à-dire le rayon spectral de la matrice (ces concepts sont les mêmes pour les matrices, mais différents pour les opérateurs linéaires généraux).

Comme $\underset{x}{\sup }|h^{\prime }(x)|\le 1$, nous avons que $\Vert diag(h^{\prime }(W_i{x}_{i-1})){\Vert }_s=\underset{j}{\max }|h^{\prime }(W_i{x}_{i-1,j})|\le 1,$ et par conséquent la borne supérieure est : $$\Vert D{\Vert }_L\le \prod _{i=1}^n\Vert W_i{\Vert }_s$$Ainsi, si nous pouvons fixer une limite supérieure aux normes des opérateurs $\Vert W_i{\Vert }_s$ de chaque matrice, nous pouvons donc fixer la limite supérieure de la norme Lipschitz de $D$ .

Contrainte sur les poids

Puisque pour tout $m\times l$ matrice $W$, Posons $c=\underset{i,j}{\max }|W_{i,j}|$, nous avons $$\Vert W{\Vert }_s^2=\underset{\Vert x{\Vert }_2=1}{\sup }\Vert Wx{\Vert }_2^2=\underset{\Vert x{\Vert }_2=1}{\sup }\sum _i{\left(\sum _j{W}_{i,j}{x}_j\right)}^2=\underset{\Vert x{\Vert }_2=1}{\sup }\sum _{i,j,k}{W}_{ij}{W}_{ik}{x}_j{x}_k\le c^{2}m{l}^2$$ en coupant toutes les entrées de $W$ dans un intervalle $[-c,c]$, nous pouvons être borné $\Vert W{\Vert }_s$ .

Il s'agit de la méthode de contrainte des poids, proposée dans l'article original.

Normalisation spectrale

Le rayon spectral peut être calculé efficacement par l'algorithme suivant : Modèle:Citation bloc En réaffectant $W_i\leftarrow \frac{W_i}{\Vert W_i{\Vert }_s}$ après chaque mise à jour du discriminateur, nous pouvons fixer une limite supérieure $\Vert W_i{\Vert }_s\le 1$, et donc limite supérieure $\Vert D{\Vert }_L$ .

L'algorithme peut être encore accéléré par mémoïsation : A l'étape $t$, on garde $x_i^{*}(t)$ . Puis à l'étape $t+1$, utiliser $x_i^{*}(t)$ comme valeur initiale de l'algorithme. Depuis $W_i(t+1)$ est très proche de $W_i(t)$, c'est donc $x_i^{*}(t)$ proche de $x_i^{*}(t+1)$, ce qui permet une convergence rapide.

Il s'agit de la méthode de normalisation spectrale.

Pénalité sur le gradient

Au lieu de délimiter strictement $\Vert D{\Vert }_L$, nous pouvons simplement ajouter un terme de « pénalité sur le gradient » sur le discriminateur, de la forme $${𝔼}_{x\sim \hat{\mu }}[(\Vert \mathrm{\nabla }D(x){\Vert }_2-a{)}^2]$$ où $\hat{\mu }$ est une distribution fixe utilisée pour estimer dans quelle mesure le discriminateur a violé l'exigence de la norme de Lipschitz. Le discriminateur, en essayant de minimiser la nouvelle fonction de perte, amènerait naturellement $\mathrm{\nabla }D(x)$ proche de $a$ partout, faisant ainsi $\Vert D{\Vert }_L\approx a$ .

Il s'agit de la méthode de pénalité sur le gradient.

Liens externes

• Du GAN au WGAN
• Wasserstein GAN et la dualité Kantorovitch-Rubinstein
• Apprentissage en profondeur avant tout : Wasserstein GAN

Voir aussi

• Réseaux antagonistes génératifs
• Distance de Wasserstein
• Distance du cantonnier
• Théorie du transport