Sous-différentiel

En mathématiques, et plus précisément en analyse convexe, le sous-différentiel est un concept permettant de décrire la variation locale d'une fonction convexe (à valeurs réelles donc) non nécessairement différentiable dans un sens classique, celui auquel on attache aujourd'hui le nom de Fréchet. Au lieu d'être la pente de l'application linéaire tangente (c'est-à-dire, la dérivée) au point considéré, qui n'existe pas nécessairement, le sous-différentiel d'une fonction convexe est l'ensemble des pentes de toutes les minorantes affines de la fonction, qui sont exactes en ce point, c'est-à-dire qui ont en ce point la même valeur que la fonction convexe qu'elles minorent. Dans cette description, le mot pente peut être entendu comme un élément de l'espace dual. La convexité de la fonction assure qu'on peut lui trouver des minorantes affines exactes en presque tout point de son domaine ; on met donc à profit cette propriété pour définir le sous-différentiel. Si l'on peut trouver une minorante affine exacte en un point donné, on dit que la fonction convexe est sous-différentiable en ce point.

On sait que la notion de dérivée est fondamentale en analyse car elle permet d'approcher localement des fonctions par des modèles linéaires, plus simples à étudier. Ces modèles fournissent des renseignements sur les fonctions qu'ils approchent, si bien que de nombreuses questions d'analyse passent par l'étude des fonctions linéarisées (stabilité, inversibilité locale, etc). On rencontre beaucoup de fonctions convexes qui ne sont pas différentiables au sens classique, en particulier lorsque celles-ci résultent de constructions qui n'ont rien pour assurer la différentiabilité des fonctions qu'elles produisent. Il en est ainsi de la fonction duale associée à un problème d'optimisation sous contraintes, pour en citer un exemple emblématique. Pour ces fonctions convexes non lisses, le sous-différentiel joue donc un rôle similaire à celui de la dérivée des fonctions plus régulières.

La notion de sous-différentiel connaît diverses extensions aux fonctions non nécessairement convexes, par exemple aux fonctions localement lipschitziennes.

Connaissances supposées : l'algèbre linéaire, le calcul différentiel (notamment les propriétés de la dérivée directionnelle au sens de Dini pour les fonctions convexes prenant des valeurs infinies), les bases de l'analyse convexe (notamment les principales notions attachées aux ensembles et aux fonctions convexes, mais surtout la notion de fonction conjuguée).

Fonction d'une seule variable

Définition

Une fonction convexe non différentiable (en bleu) et deux de ses minorantes affines exactes en $x_0$ (rouge). Le sous-différentiel de cette fonction en $x_0$ est l'ensemble des pentes de ces minorantes affines exactes en $x_0$.

De manière rigoureuse, une sous-dérivée d'une fonction convexe $f:I\to ℝ$ en un point $x_0$ de l'intervalle ouvert $I$ est un nombre réel $s$ tel que

$f(x)⩾f(x_0)+s(x-x_0),$

pour tout $x$ dans $I$. On peut montrer que si $x_0$ est dans l'intérieur de $I$, l'ensemble des sous-dérivées en $x_0$ est un intervalle fermé non vide, donc de la forme $[a,b]$, avec des bornes $a$ et $b$ données par

$\begin{array}{ccc}a& =& \underset{x\uparrow x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0},\\ b& =& \underset{x\downarrow x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0},\end{array}$

qui sont finies et qui vérifient $a⩽b$.

L'ensemble $[a,b]$ de toutes les sous-dérivées est appelé le sous-différentiel de la fonction $f$ en $x_0$.

Exemples

Considérons la fonction f(x)=|x| qui est convexe. Alors, le sous-différentiel à l'origine est l'intervalle [−1, 1]. Le sous-différentiel en n'importe quel point x₀<0 est le singleton {−1} et le sous-différentiel en n'importe quel point x₀>0 est le singleton {1}.

Propriétés

• Une fonction convexe f:I→R est différentiable en x₀ si et seulement si le sous-différentiel ne contient qu'un seul point, qui est alors la dérivée de f en x₀.

• Un point x₀ est un minimum local de f si et seulement si zéro est contenu dans le sous-différentiel, c'est-à-dire, dans la figure ci-dessus, on peut tracer une droite horizontale "sous-tangente" au graphe de f en (x₀, f(x₀)). La dernière propriété est une généralisation du fait que la dérivée d'une fonction dérivable en un minimum local est nulle.

Fonction définie sur un espace euclidien

On suppose dans cette section que $𝔼$ est un espace euclidien (de dimension finie donc) dont le produit scalaire est noté $⟨\cdot ,\cdot ⟩$ et la norme associée $\Vert \cdot \Vert$. On note par ailleurs

• $\overline{ℝ}:=ℝ\cup \{-\mathrm{\infty },+\mathrm{\infty }\}$ la droite réelle achevée,
• $\mathrm{dom}f:=\{x\in 𝔼:f(x)<+\mathrm{\infty }\}$ le domaine d'une fonction $f:𝔼\to \overline{ℝ}$, qui peut donc prendre la valeur $-\mathrm{\infty }$ sur son domaine,
• $\mathrm{Conv}(𝔼)$ l'ensemble des fonctions $f:𝔼\to \overline{ℝ}$ qui sont convexes (c'est-à-dire, leur épigraphe est convexe) et propres (c'est-à-dire, elles ne prennent pas la valeur $-\mathrm{\infty }$ et ne sont pas identiquement égales à $+\mathrm{\infty }$),
• $\mathrm{C}\overline{\mathrm{o}\mathrm{n}\mathrm{v}}(𝔼)$ la partie de $\mathrm{Conv}(𝔼)$ formée des fonctions qui sont aussi fermées (c'est-à-dire, leur épigraphe est fermé),
• $\mathrm{int}C$ l'intérieur et $\mathrm{intr}C$ l'intérieur relatif d'un convexe $C\subset 𝔼$.

Définition

La notion de sous-différentiel peut être généralisée à une fonction convexe de plusieurs variables réelles, pouvant également prendre la valeur $+\mathrm{\infty }$. Cette dernière extension trouve son utilité, par exemple en optimisation, lorsque la fonction résulte d'une construction qui n'assure pas a priori la finitude des valeurs qu'elle prend. Comme pour la notion de gradient, on a besoin que l'espace sur lequel est définie la fonction soit muni d'un produit scalaire si l'on veut construire des objets dans cet espace et non dans son dual. Les concepts seront mieux révélés en travaillant sur un espace euclidien abstrait, qui pourra, si on le souhaite, être vu comme ${ℝ}^n$ muni du produit scalaire euclidien.

La lettre $s$ renvoie à slope (pente) ou sous-gradient (si l'on préfère). La propriété 1 exprime le fait que la fonction $d\in 𝔼\mapsto ⟨s,d⟩$ est une minorante linéaire de la fonction dérivée directionnelle $f^{\prime }(x;\cdot ):d\in 𝔼\mapsto f^{\prime }(x;d)\in ℝ\cup \{\pm \mathrm{\infty }\}$ (que l'on sait toujours exister lorsque $f$ est convexe), exacte en $0$. La propriété 2 exprime le fait que la fonction $y\in 𝔼\mapsto f(x)+⟨s,y-x⟩$ est une minorante affine de $f$ exacte en $x$. Les propriétés 4 et 5 expriment la même chose que la propriété 2 en utilisant la fonction conjuguée $f^{*}$ de $f$.

Propriétés

Optimalité

La propriété 2 de la définition du sous-différentiel permet d'obtenir immédiatement une expression simple de l'optimalité d'un point.

Cette condition nécessaire et suffisante d'optimalité du premier ordre (ainsi qualifiée parce qu'elle ne fait intervenir que les « dérivées » premières de la fonction) est typique des problèmes d'optimisation convexes (voir la section Conditions du premier ordre sans contrainte de l'article Conditions d'optimalité).

Trouver les minimiseurs d'une fonction convexe propre revient donc à trouver les « zéros » de son sous-différentiel. Ce résultat est à rapprocher de celui selon lequel les minimiseurs d'une fonction convexe différentiable sont les points qui annulent son gradient. Ce résultat est plus riche qu'il ne paraît à première vue. En effet, du fait que la fonction peut prendre la valeur $+\mathrm{\infty }$, il traite également de la minimisation d'une fonction convexe sous contraintes convexes (l'ensemble admissible étant le domaine de la fonction).

Lorsque $f$ est polyédrique, on a les caractérisations supplémentaires suivantes, liées au concept de minimum saillant.

La polyédricité de la fonction joue un rôle majeur dans les caractérisations précédentes. Ainsi chacune des implications de la première équivalence peut être fausse pour une fonction non polyédrique : l'implication "$\Rightarrow$" est fausse pour la fonction $x\in ℝ\to \max (x^2,x)$ en $\overline{x}=0$ et l'implication "$\Leftarrow$" est fausse pour la fonction $x\in ℝ\to \max (0,x{)}^2$ en $\overline{x}=0$. Pour la seconde équivalence, l'implication "$\Rightarrow$" est fausse pour la fonction $x\in ℝ\to x^2$ en $\overline{x}=0$, mais l'implication "$\Leftarrow$" reste vraie même si $f$ n'est pas polyédrique.

Règle de bascule

Les sous-différentiels de $f$ et de sa conjuguée $f^{*}$ jouissent d'une belle règle de réciprocité, parfois appelée règle de bascule.

La réciproque n'a pas lieu au point 1, pour la fonction $f\in \mathrm{Conv}(ℝ)$ ci-dessous

$f(x)=\{\begin{array}{ccc}0& \text{si}& x<0\\ 1& \text{si}& x=0\\ +\mathrm{\infty }& \text{si}& x>0\end{array}\text{donc}{f}^{*}(s)=\{\begin{array}{ccc}+\mathrm{\infty }& \text{si}& s<0\\ 0& \text{si}& s\ge 0,\end{array}$

puisque l'on a $0\notin \partial f(0)=\varnothing$, alors que $0\in \partial f^{*}(0)=]-\mathrm{\infty },0]$.

Sous-différentiabilité

Rappelons que l'on dit que $f\in \mathrm{Conv}(𝔼)$ est sous-différentiable en $x\in \mathrm{dom}f$ si $\partial f(x)\ne \varnothing$. Affirmer qu'un ensemble est non vide est une propriété forte qui, dans certains cas, revient à montrer qu'un certain problème a une solution.

La propriété 1 définissant un sous-gradient $s$, à savoir

$\mathrm{\forall }d\in 𝔼,f^{\prime }(x;d)⩾⟨s,d⟩,$

montre clairement que $f$ ne peut être sous-différentiable en $x$ si la dérivée directionnelle $f^{\prime }(x;\cdot )$ prend en une direction la valeur $-\mathrm{\infty }$ puisque le membre de droite de l'inégalité ci-dessus est toujours fini. La réciproque de cette observation est le sujet de la proposition qui suit. Une telle situation se présente pour la fonction convexe définie par

$f(x)=\{\begin{array}{cc}-\sqrt{x}& \text{si}x⩾0\\ +\mathrm{\infty }& \text{sinon}.\end{array}$

Cette fonction n'est pas sous-différentiable en zéro, parce que $f^{\prime }(0;1)=-\mathrm{\infty }$. Évidemment, si $f^{\prime }(x;d)=-\mathrm{\infty }$, alors $f^{\prime }(x;-d)=+\mathrm{\infty }$, mais ce n'est pas la valeur $+\mathrm{\infty }$ de la dérivée directionnelle qui empêche $f$ d'être sous-différentiable en $x$. C'est ce que montre la fonction indicatrice de l'intervalle $[0,+\mathrm{\infty }[$, dont le sous-différentiel en zéro est l'intevalle $]-\mathrm{\infty },0]$.

Propriétés géométriques et topologiques

On note ci-dessous $\mathrm{aff}P$ l'enveloppe affine d'une partie $P\subset 𝔼$.

Si $f$ ne prend que des valeurs réelles, alors $\mathrm{dom}f=𝔼$ et son sous-différentiel est un ensemble non vide, convexe et compact (par les points 2 et 4).

Formule du max

Le sous-différentiel peut être défini en utilisant la dérivée directionnelle (propriété 1 de la définition). La proposition suivante montre que l'on peut retrouver les dérivées directionnelles à partir du sous-différentiel : $f^{\prime }(x;\cdot )$ est la fonction d'appui de $\partial f(x)$.

Le résultat précédent ne tient plus si $x$ est sur la frontière relative du domaine de $f$. Voici un contre-exemple : $f$ est l'indicatrice de la boule-unité fermée de ${ℝ}^2$, pour la norme euclidienne, et $x=(-1,0)$. Alors $f^{\prime }(x;0)=0$ et si $d\ne 0$ :

$f^{\prime }(x;d)=\{\begin{array}{ccc}0& \text{si}& d_1>0\\ +\mathrm{\infty }& \text{si}& d_1⩽0.\end{array}$

Dès lors, la fonction ${\delta }_x:d\mapsto f^{\prime }(x;d)$ n'est pas fermée et ne peut donc être la fonction d'appui d'un ensemble, en particulier elle n'est pas la fonction d'appui du sous-différentiel. D'ailleurs, ce dernier s'écrit $\partial f(x)=\{s\in {ℝ}^2:s_1⩽0,s_2=0\}$ et

${\sigma }_{\partial f(x)}(d)=\{\begin{array}{ccc}0& \text{si}& d_1⩾0\\ +\mathrm{\infty }& \text{si}& d_1<0\end{array}$

est l'enveloppe convexe fermée de ${\delta }_x$. Cette propriété est tout à fait générale pour les fonctions de $\mathrm{C}\overline{\mathrm{o}\mathrm{n}\mathrm{v}}(𝔼)$.

La multifonction sous-différentiel

On peut voir $\partial f$ comme une multifonction ou fonction multivoque, qui à un élément de $𝔼$ fait correspondre une partie de $𝔼$, c'est-à-dire un élément de l'ensemble $𝒫(𝔼)$ des parties de $𝔼$. On note

$\partial f:𝔼⊸𝔼:x\mapsto \partial f(x)$

cette correspondance.

Rappelons quelques notions d'analyse multifonctionnelle. Soit $\phi :𝔼⊸𝔽$ une multifonction. On définit le domaine, l'image et le graphe de $\phi$ respectivement par

$\begin{array}{ccc}\mathrm{dom}\phi & :=& \{x\in 𝔼:\phi (x)\ne \varnothing \},\\ ℛ(\phi )& :=& \cup \{\phi (x):x\in \mathrm{dom}\phi \},\\ 𝒢(\phi )& :=& \{(x,u)\in 𝔼\times 𝔽:u\in \phi (x)\}.\end{array}$

On notera bien que l'on a choisi de définir le graphe comme une partie de $𝔼\times 𝔽$ et pas de $𝔼\times 𝒫(𝔽)$. La multifonction réciproque ${\phi }^{-1}:𝔽⊸𝔼$ de la multifonction $\phi :𝔼⊸𝔽$ est définie en $u\in 𝔽$ par

${\phi }^{-1}(u)=\{x\in 𝔼:u\in \phi (x)\}.$

Lorsque $𝔼$ est un espace euclidien dont le produit scalaire est noté $⟨\cdot ,\cdot ⟩$ et que $𝔽=𝔼$, on dit que $\phi$ est monotone si

$\mathrm{\forall }(x,u)\in 𝒢(\phi ),\mathrm{\forall }(y,v)\in 𝒢(\phi ):⟨v-u,y-x⟩⩾0.$

On dit que $\phi$ est monotone maximale si $\phi$ est monotone et si son graphe n'est pas strictement contenu dans le graphe d'un opérateur monotone. On vérifie facilement que cette dernière propriété s'écrit aussi

$[⟨v-u,y-x⟩⩾0,\mathrm{\forall }(x,u)\in 𝒢(\phi )]⟹(y,v)\in 𝒢(\phi ).$

Dans le résultat ci-dessous, on note $f^{*}$ la conjuguée de $f$.

On rappelle que $f:𝔼\to ℝ\cup \{+\mathrm{\infty }\}$ est fortement convexe, de module $\alpha >0$, si pour tout $x_0$ et $x_1\in \mathrm{dom}f$ et pour tout $t\in [0,1]\subset ℝ$, on a

$f((1-t)x_0+t{x}_1)\le (1-t)f(x_0)+tf(x_1)-\frac{\alpha }{2}t(1-t)\Vert x_0-x_1{\Vert }^2.$

Rappelons aussi qu'une multifonction $\phi :𝔼⊸𝔽$ est dit fortement monotone, de module $\alpha >0$, si

$\mathrm{\forall }(x,y)\in 𝒢(\phi ),\mathrm{\forall }(x^{\prime },y^{\prime })\in 𝒢(\phi ):⟨y-y^{\prime },x-x^{\prime }⟩⩾\alpha \Vert x-x^{\prime }{\Vert }^2.$

La forte convexité de $f$ peut s'exprimer par la forte monotonie de $\partial f$.

Lien avec la différentiabilité

Rappelons les trois notions de différentiabilité d'une fonction $f:𝔼\to \overline{ℝ}$ dont il est question dans cette section. On suppose que $f$ est finie au point $x$ où sont prises ces dérivées.

• On dit que $f$ a une dérivée partielle en $x$ suivant un vecteur $d\in 𝔼$ si la fonction $t\in ℝ\mapsto f(x+td)$ est différentiable en $t=0$.
• On dit que $f$ est Gâteaux-différentiable en $x$ si la dérivée directionnelle $f^{\prime }(x;d)$ existe pour tout $d\in 𝔼$ et si $d\in 𝔼\mapsto f^{\prime }(x;d)$ est linéaire.
• On dit que $f$ est Fréchet-différentiable en $x$ s'il existe un vecteur $D\in 𝔼$ tel que
  $\underset{\genfrac{}{}{0ex}{}{h\to 0}{h\ne 0}}{\lim }\frac{f(x+h)-f(x)-⟨D,h⟩}{\Vert h\Vert }=0.$
  Dans ce cas, le vecteur $D$ est appelé le gradient de $f$ en $x$. On le note
  $\mathrm{\nabla }f(x).$
  D'après la définition, si $f$ est Fréchet-différentiable en $x$, $f$ prend des valeurs finies dans un voisinage de $x$.

Ces trois propriétés sont de plus en plus fortes (la Fréchet-différentiabilité implique la Gâteaux-différentiabilité, qui implique elle-même la différentiabilité partielle). Pour une fonction convexe, les trois notions sont équivalentes, si bien qu'il n'y a alors pas lieu de faire de distinction entre celles-ci.

Le résultat suivant établit un lien entre la différentiabilité et la sous-différentiabilité : en bref, une fonction est différentiable en un point si, et seulement si, elle est sous-différentiable en ce point et son sous-différentiel est un singleton.

Calcul sous-différentiel

Combinaison conique

Voici une conséquence immédiate de la définition du sous-différentiel.

On remarquera bien que le scalaire multiplie une fonction dans le membre de gauche de l'identité ci-dessus et un ensemble dans son membre de droite.

À l'inverse, comme le montrera un exemple ci-dessous, l'égalité entre le sous-différentiel de la somme de fonctions convexes et la somme des sous-différentiels n'est pas nécessairement assurée. On aura certainement l'égalité si toutes les fonctions ne prennent que des valeurs finies. On notera également que la somme se fait sur des fonctions dans le membre de gauche de l'identité et sur des ensembles dans celui de droite.

Voici un exemple où l'égalité n'est pas assurée dans la formule de la somme ($f_2$ est la fonction indicatrice de $]-\mathrm{\infty },0]$):

$f_1:x\in ℝ\mapsto \{\begin{array}{cc}-\sqrt{x}& \text{si}x⩾0\\ +\mathrm{\infty }& \text{sinon}\end{array}\text{et}{f}_2={ℐ}_{]-\mathrm{\infty },0]}.$

Comme la somme $f=f_1+f_2$ est l'indicatrice de $\{0\}$, on a $\partial f(0)=ℝ$, alors que $\partial f_1(0)+\partial f_2(0)=\varnothing$, parce que $\partial f_1(0)=\varnothing$.

Pré-composition par une fonction affine

Le cadre est le suivant. On dispose d'une fonction affine $a:𝔼\to 𝔽$ entre deux espaces euclidiens $𝔼$ et $𝔽$. Celle-ci est supposée être définie en $x\in 𝔼$ par

$a(x)=Ax+b,$

où $A:𝔼\to 𝔽$ est linéaire et $b\in 𝔽$. On note $ℛ(a):=a(𝔼)$ l'Image directe de $𝔼$ par $a$ et $A^{*}$ l'application linéaire adjointe de $A$ pour les produits scalaires que l'on s'est donnés sur $𝔼$ et $𝔽$, défini donc par la relation

$\mathrm{\forall }x\in 𝔼,\mathrm{\forall }y\in 𝔽:⟨A^{*}y,x⟩=⟨y,Ax⟩.$

L'application affine $a$ est composée avec une application $g:𝔽\to \overline{ℝ}$.

Fonction marginale

Soient $𝔼$ et $𝔽$ deux espaces euclidiens et $\phi :𝔼\times 𝔽\to \overline{ℝ}$ une fonction. On associe à cette dernière la fonction marginale $f:𝔼\to \overline{ℝ}$ définie par :

$f(x)=\underset{y\in 𝔽}{\inf }\phi (x,y).$

Le sous-différentiel de $f$ dépend de celui de $\phi$ qui est supposé calculé pour le produit scalaire de $𝔼\times 𝔽$ suivant : $⟨(x,y),(x^{\prime },y^{\prime })⟩=⟨x,x^{\prime }⟩+⟨y,y^{\prime }⟩$.

Ce résultat appelle quelques remarques.

1. Il faut bien noter que, si la borne inférieure $\inf \{\phi (x,y):y\in 𝔽\}$ est atteinte en plusieurs $y$, $\{s:(s,0)\in \partial \phi (x,y)\}$ ne dépend pas du minimiseur $y$ choisi.
   
   On a un autre éclairage sur cette indépendance par rapport à $y$ en observant que $\phi$ est constante sur l'ensemble $M(x):=\{(x,y):$ $y$ minimise $\phi (x,\cdot )\}$, si bien que $\partial \phi$ est aussi constant sur l'intérieur relatif de $M(x)$. Cependant $\partial \phi (x,y)$ peut varier lorsque $(x,y)$ passe de l'intérieur relatif de $M(x)$ à son bord. C'est le cas de la fonction définie par $\phi (x,y)=\max (0,|y|-1)$, dont la fonction marginale est nulle :
   
   $M(x)=\{x\}\times [-1,1]\text{et}\partial \phi (0,y)=\{\begin{array}{cc}\{(0,0)\}& \text{si}-1<y<1\\ \{0\}\times [0,1]& \text{si}y=1.\end{array}$
   
2. D'autre part, si $\phi$ est différentiable en $(x,y)$, où $y$ est un minimiseur quelconque de $\phi (x,\cdot )$, alors $f$ est également différentiable en $x$ (car son sous-différentiel est un singleton) et on a
   
   $\mathrm{\nabla }f(x)={\mathrm{\nabla }}_x\phi (x,y).$
   C'est comme s'il y avait un minimiseur unique $y(x)$, fonction différentiable de $x$, que l'on écrivait $f(x)=\phi (x,y(x))$ et que l'on calculait $\mathrm{\nabla }f(x)$ par une dérivation en chaîne :
   
   $\mathrm{\nabla }f(x)={\mathrm{\nabla }}_x\phi (x,y)+y^{\prime }(x{)}^{*}{\mathrm{\nabla }}_y\phi (x,y).$
   On retrouverait le résultat ci-dessus en observant que ${\mathrm{\nabla }}_y\phi (x,y)=0$ car $y$ minimise $\phi (x,\cdot )$.
3. Le fait que $\phi (x,\cdot )$ ait un minimum unique n'implique nullement la différentiabilité de la fonction marginale en $x$. Par exemple, $f$ est la fonction marginale de $\phi$ définie par $\phi (x,y)=f(x)+y^2$. Cette dernière a un minimum $y=0$ unique en $y$ quel que soit $x$, alors que $f$ peut ne pas être différentiable.

Fonctions concave et convexe-concave

Certaines constructions conduisent naturellement à des fonctions concaves plutôt que convexes. Il en est ainsi, par exemple, lorsque l'on prend l'enveloppe inférieure d'une famille de fonctions linéaires (la fonction duale d'un problème d'optimisation est construite de cette manière). On peut alors prendre le sous-différentiel de la fonction opposée, qui est convexe, mais il est parfois plus naturel de se passer de la multiplication par moins un. Si $f$ est concave, on définit donc le sous-différentiel concave de cette fonction en un point $x$ où elle est finie, comme l'ensemble noté et défini par

$\stackrel{⌢}{\partial }f(x):=-\partial (-f)(x).$

Certains auteurs ne mettent pas le signe $⌢$ au-dessus de $\partial$ ; il faut alors se rappeler que $f$ est concave. Si $f$ est concave différentiable, son sous-différentiel concave se réduit bien au gradient de $f$. Les propriétés suivantes sont équivalentes :

• $s\in \stackrel{⌢}{\partial }f(x)$,
• $\mathrm{\forall }d\in 𝔼,f^{\prime }(x;d)⩽⟨s,d⟩$,
• $\mathrm{\forall }y\in 𝔼,f(y)⩽f(x)+⟨s,y-x⟩$,
• $x$ maximise $y\in 𝔼\mapsto f(y)-⟨s,y⟩$.

Il est aussi intéressant de définir le sous-différentiel d'une fonction convexe-concave. Si $𝔼$ et $𝔽$ sont deux espaces vectoriels, on dit que $f:𝔼\times 𝔽\to \overline{ℝ}$ est convexe-concave si

• pour tout $y\in 𝔽$, $x\mapsto f(x,y)$ est convexe et
• pour tout $x\in 𝔼$, $y\mapsto f(x,y)$ est concave.

Le lagrangien d'un problème d'optimisation convexe avec contraintes a cette propriété. La situation est plus complexe que dans le cas d'une fonction concave, car il ne suffit pas de multiplier (une partie de) la fonction par $-1$ pour retrouver une fonction convexe et lui appliquer la notion de sous-différentiel convexe que l'on connait.

De manière synthétique : $$\stackrel{\backsim }{\partial }f(x,y):={\partial }_{x}f(x,y)\times {\stackrel{⌢}{\partial }}_{y}f(x,y).$$

Dans cette définition, on a noté ${\partial }_{x}f(x,y)$ le sous-différentiel ordinaire en $x$ de la fonction convexe $x^{\prime }\mapsto f(x^{\prime },y)$ et ${\stackrel{⌢}{\partial }}_{y}f(x,y)$ le sous-différentiel concave en $y$ de la fonction concave $y^{\prime }\mapsto f(x,y^{\prime })$. Certains auteurs ne mettent pas le signe $\backsim$ au-dessus de $\partial$ ; il faut alors se rappeler que $f$ est convexe-concave.

Exemples

Voici quelques exemples de sous-différentiels de fonctions convexes classiques.

Fonction indicatrice

On suppose ici que $𝔼$ est un espace euclidien et que $C$ est un convexe de $𝔼$.

Le sous-différentiel de la fonction indicatrice ${ℐ}_C$ est le cône normal $N_C$ de $C$ : $$\partial {ℐ}_C=N_C.$$

Norme

Soit $\Vert \cdot \Vert$ une norme sur un espace euclidien $𝔼$, non nécessairement dérivée du produit scalaire $⟨\cdot ,\cdot ⟩$ de $𝔼$. On introduit la norme duale

$\Vert s{\Vert }_{{}_D}:=\underset{\Vert x\Vert ⩽1}{\sup }⟨s,x⟩$

et la boule-unité duale fermée

${\overline{B}}_{{}_D}:=\{s\in 𝔼:\Vert s{\Vert }_{{}_D}⩽1\}.$

Une norme est évidemment une fonction convexe (par l'inégalité triangulaire), partout sous-différentiable (elle ne prend que des valeurs finies). Son sous-différentiel est donné par les formules $$\partial (\Vert \cdot \Vert )(x)={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}_{s\in {\overline{B}}_{{}_D}}⟨s,x⟩=\{s\in {\overline{B}}_{{}_D}:⟨s,x⟩=\Vert x\Vert \}.$$ En particulier :

• si $x\ne 0$, les sous-gradients $s\in \partial (\Vert \cdot \Vert )(x)$ sont sur la frontière de ${\overline{B}}_{{}_D}$ : $\Vert s{\Vert }_{{}_D}=1$ ;
• $\partial (\Vert \cdot \Vert )(0)={\overline{B}}_{{}_D}$.

La puissance $p>1$ d'une norme

$f:𝔼\to ℝ:x\mapsto f(x):=\frac{1}{p}\Vert x{\Vert }^p$

est aussi une fonction convexe (composition de fonctions convexes dont la seconde est croissante) propre (elle ne prend que des valeurs finies) fermée (elle est continue) et partout sous-différentiable (elle ne prend que des valeurs finies). Son sous-différentiel est donné par les formules $$\partial f(x)=\{s\in 𝔼:⟨s,x⟩=\Vert x{\Vert }^p=\Vert s{\Vert }_{{}_D}^{p^{\prime }}\}=\Vert x{\Vert }^{p-1}(\partial (\Vert \cdot \Vert )(x)),$$ où $p^{\prime }:=p/(p-1)\in ]0,1[$ est le nombre conjugué de $p$ :

$\frac{1}{p}+\frac{1}{p^{\prime }}=1.$

La dernière expression du sous-différentiel $\partial f(x)$ rappelle la dérivation en chaîne de la composition de $x\in 𝔼\mapsto \Vert x\Vert$ et de $t\in ℝ\mapsto t^p/p$.

Distance à un convexe

Soit $\Vert \cdot \Vert$ une norme sur un espace euclidien $𝔼$, non nécessairement dérivée du produit scalaire $⟨\cdot ,\cdot ⟩$ de $𝔼$. On introduit la norme duale

$\Vert s{\Vert }_{{}_D}:=\underset{\Vert x\Vert ⩽1}{\sup }⟨s,x⟩$

et la boule-unité duale fermée

${\overline{B}}_{{}_D}:=\{s\in 𝔼:\Vert s{\Vert }_{{}_D}⩽1\}.$

Soit $C$ un ensemble convexe fermé non vide de $𝔼$. On considère la fonction ${\mathrm{dist}}_C:𝔼\to ℝ$, la distance à $C$, définie par

${\mathrm{dist}}_C(x)=\underset{y\in C}{\inf }\Vert x-y\Vert .$

C'est une fonction convexe propre et fermée (elle ne prend que des valeurs finies). On note $\overline{x}$ une projection d'un point $x$ sur $C$ : c'est une solution du problème $\inf \{\Vert x-y\Vert :y\in C\}$. Cette dernière n'est pas nécessairement unique car la norme n'est pas nécessairement associée à un produit scalaire.

Le sous-différentiel en $x\in 𝔼$ de la distance à $C$ est donné par la formule $$\partial {\mathrm{dist}}_C(x)=\{s\in {\overline{B}}_{{}_D}\cap N_C(\overline{x}):⟨s,x-\overline{x}⟩=\Vert x-\overline{x}\Vert \}.$$ où $N_C(x):=\{d\in 𝔼:⟨d,y-x⟩⩽0$ pour tout $y\in C\}$ est le cône normal à $C$ en $x$.

Lorsque la norme $\Vert \cdot \Vert$ est celle associée au produit scalaire $⟨\cdot ,\cdot ⟩$, les boules-unités primale et duale coïncident (c'est-à-dire, ${\overline{B}}_{{}_D}=\overline{B}$) et on a les propriétés suivantes :

• si $x\notin C$, alors ${\mathrm{dist}}_C$ est différentiable en $x$ et $\mathrm{\nabla }{\mathrm{dist}}_C(x)=(x-\overline{x})/\Vert x-\overline{x}\Vert$ ;
• si $x\in \mathrm{int}C$, l'intérieur de $C$, alors ${\mathrm{dist}}_C$ est différentiable en $x$ et $\mathrm{\nabla }{\mathrm{dist}}_C(x)=0$ ;
• si $x\in C\setminus (\mathrm{int}C)$, la frontière de $C$, alors $\partial {\mathrm{dist}}_C(x)=\overline{B}\cap N_C(x)$.

En l'absence de convexité d'un ensemble $P\subset 𝔼$, la distance ${\mathrm{dist}}_P$ n'est pas nécessairement différentiable sur le complémentaire de $P$.

Valeur propre maximale

On note ${𝒮}^n$ l'ensemble des matrices réelles d'ordre $n$ symétriques, que l'on munit du produit scalaire canonique $(A,B)\in {𝒮}^n\times {𝒮}^n\mapsto ⟨A,B⟩:=\mathrm{tr}AB$ ($\mathrm{tr}A$ désigne la trace de la matrice $A$). On note aussi ${𝒮}_{+}^n$ le cône de ${𝒮}^n$ formé des matrices semi-définies positives. On note enfin

${\lambda }_1:{𝒮}^n\to ℝ:A\mapsto {\lambda }_1(A)$

l'application valeur propre maximale, qui à une matrice symétrique $A$ associe sa plus grande valeur propre (on rappelle qu'une matrice symétrique d'ordre $n$ a $n$ valeurs propres réelles). C'est une fonction propre, convexe et continue (donc fermée). Son sous-différentiel en $A\in {𝒮}^n$ est donné par la formule $$\partial {\lambda }_1(A)=\mathrm{co}\{v{v}^{\mathrm{\top }}:\Vert v{\Vert }_2=1,Av={\lambda }_1(A)v\},$$ où $\mathrm{co}P$ désigne l'enveloppe convexe d'un ensemble $P$. L'enveloppe convexe ci-dessus est compacte (par exemple, parce que le sous-différentiel d'une fonction convexe ne prenant que des valeurs finies, comme ${\lambda }_1$, l'est).

On en déduit que :

• si ${\lambda }_1(A)$ est simple, ${\lambda }_1(\cdot )$ est différentiable en $A$ et son gradient s'écrit alors$\mathrm{\nabla }{\lambda }_1(A)=v{v}^{\mathrm{\top }},$où $\pm v$ sont les uniques vecteurs propres unitaires associés à la valeur propre maximale ;
• $\partial {\lambda }_1(0)=\{S\in {𝒮}_{+}^n:\mathrm{tr}S=1\}$ ;
• la dérivée directionnelle de ${\lambda }_1$ en $A\in {𝒮}^n$ dans la direction $D\in {𝒮}^n$ s'écrit ${{\lambda }_1}^{\prime }(A;D)={\lambda }_1(V^{\mathrm{\top }}DV),$ où $V$ est une matrice dont les colonnes forment une base orthonormale de l'espace propre associé à ${\lambda }_1(A)$.

Fonction spectrale

La présentation ci-dessous synthétise celles de Lewis (1996), Hiriart-Urruty (1998), Borwein et Lewis (2000).

On note ${𝒮}^n$ l'ensemble des matrices réelles d'ordre $n$ symétriques, que l'on munit du produit scalaire canonique $(A,B)\in {𝒮}^n\times {𝒮}^n\mapsto ⟨A,B⟩:=\mathrm{tr}AB$, la trace de la matrice $AB$. Par ailleurs, pour $x\in {ℝ}^n$, on note $[x]\in {ℝ}^n$ le vecteur formé des composantes de $x$ en ordre décroissant.

On se donne une fonction $f:{ℝ}^n\to \overline{ℝ}$ symétrique, c'est-à-dire qui vérifie

$\mathrm{\forall }x\in {ℝ}^n:f(x)=f([x]),$

ce qui revient à dire que l'on ne modifie pas la valeur de $f(x)$ en permutant les composantes de $x$. On note

$\lambda :{𝒮}^n\to {ℝ}^n:A\mapsto \lambda (A):=({\lambda }_1(A),\dots ,{\lambda }_n(A)),$

la fonction donnant les valeurs propres de $A$ en ordre décroissant :

${\lambda }_1(A)⩾{\lambda }_2(A)⩾\cdots ⩾{\lambda }_n(A).$

On appelle fonction spectrale une fonction de la forme $f\circ \lambda$, avec $f$ et $\lambda$ comme ci-dessus. Ce sont donc des fonctions définies sur ${𝒮}^n$, mais dont les valeurs ne dépendent que du spectre des matrices.

On peut alors caractériser la convexité-fermeture de $(f\circ \lambda )$ à partir de celle de $f$.

On peut aussi calculer le sous-différentiel de $(f\circ \lambda )$ à partir de celui de $f$.

On peut enfin caractériser la différentiabilité de $(f\circ \lambda )$ à partir de celle de $f$.

Les fonctions spectrales sont fréquemment rencontrées. En voici quelques-unes, construites à partir de fonctions $f\in \mathrm{C}\overline{\mathrm{o}\mathrm{n}\mathrm{v}}({ℝ}^n)$, donnant donc lieu à des fonctions $(f\circ \lambda )\in \mathrm{C}\overline{\mathrm{o}\mathrm{n}\mathrm{v}}({𝒮}^n)$. Dans le tableau ci-dessous, les entiers $p$ et $q$ peuvent être choisis arbitrairement dans $\{0,\dots ,n\}$, un vecteur de $x\in {ℝ}^n$ dont toutes les composantes sont strictement positives est signalé par $x>0$, une matrice $A$ définie positive est signalée par $A\succ 0$.

$f(x)$	$(f\circ \lambda )(A)$
$[x{]}_1=\max (x_1,\dots ,x_n)$	${\lambda }_1(A)$
$-[x{]}_n=-\min (x_1,\dots ,x_n)$	$-{\lambda }_n(A)$
$\sum _{i=1}^p[x{]}_i-\sum _{i=n-q+1}^n[x{]}_i$	$\sum _{i=1}^p{\lambda }_i(A)-\sum _{i=n-q+1}^n{\lambda }_i(A)$
$\mathrm{l}\mathrm{b}(x)=\{\begin{array}{cc}-\sum _{i=1}^n\log x_i& \text{si}x>0\\ +\mathrm{\infty }& \text{sinon}\end{array}$	$\mathrm{l}\mathrm{d}(A)=\{\begin{array}{cc}-\log \det A& \text{si}A\succ 0\\ +\mathrm{\infty }& \text{sinon}\end{array}$
$\{\begin{array}{cc}-{\left(\sum _{i=1}^n{x}_i^{-1}\right)}^{-1}& \text{si}x>0\\ +\mathrm{\infty }& \text{sinon}\end{array}$	$\{\begin{array}{cc}-{(\mathrm{tr}{A}^{-1})}^{-1}& \text{si}A\succ 0\\ +\mathrm{\infty }& \text{sinon}\end{array}$

Fonction définie sur un espace localement convexe

La présentation ci-dessous synthétise celle de Bonnans et Shapiro (2000).

Cadre

On suppose donnés deux espaces espaces vectoriels topologiques localement convexes $𝔼$ et ${𝔼}^{*}$ sur $ℝ$ couplés, dans le sens où il existe une application bilinéaire continue

$⟨\cdot ,\cdot ⟩:𝔼\times {𝔼}^{*}\to ℝ$

telle que

• le dual topologique de $𝔼$ coïncide avec $\{⟨\cdot ,x^{*}⟩:x^{*}\in {𝔼}^{*}\}$,
• le dual topologique de ${𝔼}^{*}$ coïncide avec $\{⟨x,\cdot ⟩:x\in 𝔼\}$.

Comme exemples de tels couples d'espaces vectoriels topologiques localement convexes, citons

• un espace de Banach et son dual topologique muni de la topologie faible,
• un espace vectoriel normé réflexif et son dual topologique muni de la topologie forte.

Définitions

Les définitions de sous-gradient, de sous-différentiel et de sous-différentiabilité sont essentiellement les mêmes que celles introduites en dimension finie.

Annexes

Bibliographie

• Modèle:En A. Auslender, M. Teboulle (2003). Asymptotic Cones and Functions in Optimization and Variational Inequalitites. Springer Monographs in Mathematics. Springer, New York.
• Modèle:En J. F. Bonnans, A. Shapiro (2000). Perturbation Analysis of Optimization Problems. Springer Verlag, New York.
• Modèle:En J.M. Borwein, A.S. Lewis (2000). Convex Analysis and Nonlinear Optimization. Springer, New York.
• Modèle:Fr H. Brézis (1973). Opérateurs Maximaux Monotones et Semi-groupes de Contractions Dans les Espaces de Hilbert. Mathematics Studies 5. North-Holland, Amsterdam. Modèle:ISBN.
• Modèle:En J.V. Burke, M.C. Ferris (1993). Weak sharp minima in mathematical programming. SIAM Journal on Control and Optimization, 31, 1340–1359. DOI
• Modèle:En C. Davis (1957). All convex invariant functions of Hermitian matrices. Archiv der Mathematik, 8, 26-278.
• Modèle:En F.H. Clarke (1983). Optimization and Nonsmooth Analysis. John Wiley & Sons, New York.
• Modèle:En J.Ch. Gilbert (2015). On the solution uniqueness characterization in the ${\ell }_1$ norm and polyhedral gauge recovery. Rapport INRIA.
• Modèle:Fr J.-B. Hiriart-Urruty (1998). Optimisation et Analyse Convexe. Presses Universitaires de France, Paris.
• Modèle:En J.-B. Hiriart-Urruty, Cl. Lemaréchal (2001). Fundamentals of Convex Analysis. Springer. Modèle:ISBN.
• Modèle:En A.S. Lewis (1996). Convex analysis on the Hermitian matrices. SIAM Journal on Optimization, 6, 164-177.
• Modèle:En R.T. Rockafellar (1970). Convex Analysis. Princeton Mathematics Ser. 28. Princeton University Press, Princeton, New Jersey.
• Modèle:En R.T. Rockafellar (1976). Monotone operators and the proximal point algorithm. SIAM Journal on Control and Optimization, 14, 877–898.
• Modèle:En R.E. Showalter (1997). Monotone Operators in Banach Space and Nonlinear Partial Differential Equations. American Mathematical Society. Modèle:ISBN.