Maximum régularisé

En mathématiques, un maximum régularisé (Modèle:Lang) d'une famille indicée Modèle:Math de nombres est une approximation lisse de la fonction maximum Modèle:Math, par une famille paramétrée de fonctions Modèle:Math telle que la fonction Modèle:Mvar est régulière pour toute valeur réelle de Modèle:Mvar, et tend vers la fonction maximum pour Modèle:Math ou Modèle:Math . Le concept de minimum régularisé peut être défini de façon similaire. Dans plusieurs cas, une même famille peut servir à approcher les deux fonctions, le maximum pour des valeurs positives très grandes, le minimum vers l'infini négatif :

$m_{\alpha }\to \max \text{pour}\alpha \to \mathrm{\infty },m_{\alpha }\to \min \text{pour}\alpha \to -\mathrm{\infty }.$

Le terme peut être utilisé pour toute fonction régularisante se comportant de façon similaire à la fonction maximum, sans être paramétrée.

Exemples

Approximations dérivables de la valeur absolue

En utilisant la définition suivante du maximum de deux nombres :

$\max (x_1,x_2)=\frac{x_1+x_2+|x_2-x_1|}{2}$

on peut définir une fonction maximum régularisé en remplaçant le terme en valeur absolue par une fonction lisse équivalente, comme $\sqrt{x^2+{\alpha }^2}$ ou $x\mathrm{e}\mathrm{r}\mathrm{f}(\alpha x)$, où Modèle:Math désigne la fonction d'erreur.

Softmax

Maximum régularisé appliqué aux fonctions Modèle:Mvar et Modèle:Mvar pour plusieurs valeurs de coefficients. On voit que la fonction est très lisse pour Modèle:Math et plus raide pour Modèle:Math.

Pour de grandes valeurs du paramètre Modèle:Math, la fonction Modèle:Mvar définie ci-après, parfois appelée « Modèle:Mvar-softmax », est une approximation lisse et différentiable de la fonction maximum. Pour des valeurs négatives du paramètre grandes en valeur absolue, elle approche le minimum. La fonction Modèle:Mvar-softmax est définie par :

$S_{\alpha }(x_1,\dots ,x_n)=\frac{\sum _{i=1}^n{x}_i{\mathrm{e}}^{\alpha x_i}}{\sum _{i=1}^n{\mathrm{e}}^{\alpha x_i}}$

Modèle:Mvar a les propriétés suivantes :

1. $S_{\alpha }\underset{\alpha \to +\mathrm{\infty }}{⟶}\max$
2. Modèle:Math renvoie la moyenne arithmétique
3. $S_{\alpha }\underset{\alpha \to -\mathrm{\infty }}{⟶}\min$

Le gradient de Modèle:Mvar est lié à la fonction softmax et vaut

${\mathrm{\nabla }}_{x_i}{S}_{\alpha }(x_1,\dots ,x_n)=\frac{{\mathrm{e}}^{\alpha x_i}}{\sum _{j=1}^n{\mathrm{e}}^{\alpha x_j}}[1+\alpha (x_i-S_{\alpha }(x_1,\dots ,x_n))].$

Normes de Hölder

Modèle:Article détaillé Une forme de maximum régularisé peut être basée sur une moyenne généralisée. Par exemple, pour des valeurs Modèle:Math positives, on peut utiliser une moyenne d'ordre Modèle:Math, soit

$S_{\alpha }(x_1,\dots ,x_n)={\left(\frac{1}{n}\sum _{j=1}^n{x}_j^{\alpha }\right)}^{\frac{1}{\alpha }}.$

LogSumExp

Modèle:Article détaillé Un autre maximum régularisé est connu sous le nom « LogSumExp »:

$\mathrm{L}\mathrm{S}\mathrm{E}(x_1,\dots ,x_n)=\ln (\exp (x_1)+\dots +\exp (x_n))$

La fonction peut être normalisée si les Modèle:Mvar sont tous positifs, menant à une fonction définie sur Modèle:Math vers Modèle:Math:

$g(x_1,\dots ,x_n)=\ln (\exp (x_1)+\dots +\exp (x_n)-(n-1))$

Le terme Modèle:Math est un coefficient de correction pour prendre en compte que Modèle:Math, assurant ainsi qu'on ait bien Modèle:Math si tous les Modèle:Mvar sont nuls.

La fonction LogSumExp peut être paramétrée pour éviter les artefacts de lissage. On appelle cette forme « Modèle:Mvar-quasimax », définie par:

${𝒬}_{\alpha }(x_1,\dots ,x_n)=\frac{1}{\alpha }\mathrm{L}\mathrm{S}\mathrm{E}(\alpha x_1,\dots ,\alpha x_n)=\frac{1}{\alpha }\ln (\exp (\alpha x_1)+\dots +\exp (\alpha x_n))$

Utilisation dans des méthodes numériques

Les maximums lisses ont un intérêt dans les recherches d'extrema sur des ensembles de données discrètes ou des algorithmes d'optimisation par descente du gradient.

Voir aussi

• LogSumExp
• Fonction softmax
• Moyenne généralisée

Références

Modèle:Portail