Régularisation de Tikhonov

Andreï Nikolaïevitch Tikhonov en 1975

La régularisation de Tikhonov est la méthode de régularisation la plus utilisée pour la résolution de problèmes qui ne sont pas bien posés ainsi que pour les problèmes inverses. Elle a été formalisée par le mathématicien russe Andreï Nikolaïevitch Tikhonov. En statistique, la méthode est également connue sous le nom de régression d'arête (ridge regression). Elle est connexe à l'algorithme de Levenberg-Marquardt pour la résolution de problèmes non linéaires de moindres carrés.

Développement

Problème

L'approche classique pour résoudre un système d'équations linéaires surdéterminées exprimées par

$A𝐱=𝐛$

est connue comme la méthode des moindres carrés et consiste à minimiser le résidu

$\Vert A𝐱-𝐛{\Vert }^2$

où $\Vert \cdot \Vert$ est la norme euclidienne. Cependant, la matrice Modèle:Math peut-être mal conditionnée ou non inversible, conduisant à un grand nombre de solutions.

Régularisation

Dans le but de privilégier une solution particulière dotée de propriétés qui semblent pertinentes, un terme de régularisation est introduit dans la minimisation :

$\Vert A𝐱-𝐛{\Vert }^2+\Vert \mathrm{\Gamma }𝐱{\Vert }^2$

La « matrice de Tikhonov » Modèle:Math doit être judicieusement choisie pour le problème considéré. Le vecteur Modèle:Math est celui que l'on cherche à exprimer, souvent comme une approximation discrétisée d'une fonction continue. Dans de nombreux cas, la matrice Modèle:Math est la matrice identité Modèle:Math, ce qui favorise les solutions dont les normes sont petites. Dans d'autres cas des opérateurs passe-haut, par exemple un opérateur de différence ou un opérateur de Fourier pondéré peut être utilisé pour éliminer les variations rapides de la fonction lorsque l'on a de bonnes raisons de croire que le vecteur Modèle:Math est l'approximation d'une fonction continue.

Cette régularisation améliore le conditionnement du problème, permettant ainsi de trouver une solution numérique.

Solution

Une solution numérique que l'on va appeler $\hat{x}$ est donnée par :

$\hat{x}=(A^{T}A+{\mathrm{\Gamma }}^T\mathrm{\Gamma }{)}^{-1}{A}^T𝐛$

L'effet de la régularisation dépend du choix de la matrice Modèle:Math. Lorsque Modèle:Math est nulle, on en revient au cas de la solution, non régularisée, des moindres carrés, pourvu que Modèle:Math existe.

Régularisation généralisée

Le problème de régularisation généralisée s'écrit

$\Vert A𝐱-𝐛{\Vert }_P^2+\Vert 𝐱-{𝐱}_0{\Vert }_Q^2$

où :

• Modèle:Math désigne l'espérance de Modèle:Math,
• Modèle:Math désigne l'inverse de la matrice de covariance de Modèle:Math,
• Modèle:Mvar désigne l'inverse de la matrice de covariance de Modèle:Math,
• ${\Vert \cdot \Vert }_P^2$ désigne Modèle:Math, soit le carré de la norme pondérée.

Sa solution généralisée est alors :

$\widehat{𝐱}={𝐱}_0+(A^{T}PA+Q{)}^{-1}{A}^{T}P(𝐛-A{𝐱}_0).$

Sources

Modèle:Traduction/Référence, dont les sources étaient :

• • Tikhonov AN, 1943, On the stability of inverse problems, Dokl. Akad. Nauk SSSR, 39, No. 5, 195-198
  • Tikhonov AN, 1963, Solution of incorrectly formulated problems and the regularization method, Soviet Math Dokl 4, 1035-1038 English translation of Dokl Akad Nauk SSSR 151, 1963, 501-504
  • Tikhonov AN and Arsenin VA, 1977, Solution of Ill-posed Problems, Winston & Sons, Washington, Modèle:ISBN.
  • Hansen, P.C., 1998, Rank-deficient and Discrete ill-posed problems, SIAM
  • Hoerl AE, 1962, Application of ridge analysis to regression problems, Chemical Engineering Progress, 58, 54-59.
  • Foster M, 1961, An application of the Wiener-Kolmogorov smoothing theory to matrix inversion, J. SIAM, 9, 387-392
  • Phillips DL, 1962, A technique for the numerical solution of certain integral equations of the first kind, J Assoc Comput Mach, 9, 84-97
  • Tarantola A, 2004, Inverse Problem Theory (free PDF version), Society for Industrial and Applied Mathematics, Modèle:ISBN
  • Wahba, G, 1990, spline Models for Observational Data, SIAM