Espace de Hilbert à noyau reproduisant

Fichier:Different Views on RKHS.png

Diagrammes représentant les liens entre les différentes visions des espaces de Hilbert à noyau reproduisant

En analyse fonctionnelle, un espace de Hilbert à noyau reproduisant est un espace de Hilbert de fonctions pour lequel toutes les applications $f\mapsto f(x)$ sont des formes linéaires continues. De manière équivalente, il existe des espaces qu'on peut définir par des noyaux reproduisants. Le sujet a été originellement et simultanément développé par Nachman Aronszajn et Stefan Bergman en 1950. Les espaces de Hilbert à noyau reproduisant sont parfois désignés sous l’acronyme issu du titre anglais RKHS, pour Reproducing Kernel Hilbert Space.

Dans cet article, on suppose que les espaces de Hilbert sont complexes. La principale raison est qu'il existe de nombreux exemples d'espaces de Hilbert à noyau reproduisant qui sont des espaces de fonctions analytiques complexes, même s'il existe des espaces de Hilbert réels qui ont des noyaux reproduisants.

Un important sous-ensemble d'espaces de Hilbert à noyau reproduisant est constitué par les espaces de Hilbert à noyau reproduisant associés à un noyau continu. Ces espaces ont d'importantes applications, dans les domaines de l'analyse complexe, la mécanique quantique, les statistiques, l'analyse harmonique et l’apprentissage automatique.

Définition

Soit X un ensemble arbitraire et H un espace de Hilbert de fonctions à valeurs complexes sur X. On dit que H est un espace de Hilbert à noyau reproduisant si pour tout x dans X, la forme linéaire

$L_x:f\mapsto f(x)$

de H dans $ℂ$ est continue. D'après le théorème de représentation de Riesz, cela implique que pour tout x dans X, il existe un unique élément K_x de H avec la propriété que:

$f(x)=⟨f,K_x⟩\mathrm{\forall }f\in H(*).$

La fonction K_x est appelée la fonction d'évaluation au point x.

Puisque H est un espace de fonctions, l'élément K_x est lui-même une fonction définie sur X. Nous définissons la fonction $K:X\times X\to ℂ$ par

$K(x,y)\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}\overline{K_x(y)}.$

Cette fonction est appelée le noyau reproduisant pour l'espace de Hilbert H et elle est déterminée entièrement par H car le théorème de représentation de Riesz garantit, pour tout x dans X, que l'élément K_x satisfaisant (*) est unique.

Exemples

Par exemple, si X est fini et H est formé par toutes les fonctions à valeurs complexes sur X, alors un élément de H peut être représenté par une matrice colonne de nombres complexes. Si on utilise le produit scalaire hermitien canonique, alors K_x est la fonction qui vaut 1 en x et 0 ailleurs, et K n'est autre que la matrice identité puisque K(x, y) = 1 si x = y et K(x, y) = 0 sinon. Dans ce cas, H est isomorphe à ${ℂ}^n$.

Un exemple plus sophistiqué est l'espace de Bergman H Modèle:Exp(D) des fonctions holomorphes de carré intégrable sur le disque unité D. On peut montrer que le noyau reproduisant pour H Modèle:Exp(D) est

$K(x,y)=\frac{1}{\pi }\frac{1}{(1-x\bar{y}{)}^2}.$

Ce noyau est un exemple de noyau de Bergman, nommé d'après Stefan Bergman.

Propriétés

Propriétés du noyau

Il est clair d'après la discussion ci-dessus que

$K(x,y)=\overline{K_x(y)}=⟨K_x,K_y⟩.$

En particulier,

$K(x,x)=⟨K_x,K_x⟩\ge 0,\mathrm{\forall }x\in X.$

Notons que

$K_x=0\text{ si et seulement si }f(x)=0\mathrm{\forall }f\in H.$

Suites orthonormales

Si ${\left\{{\varphi }_k\right\}}_{k=1}^{\mathrm{\infty }}$ est une base hilbertienne de H, alors

$K(x,y)=\sum _{k=1}^{\mathrm{\infty }}{\varphi }_k\left(x\right)\overline{{\varphi }_k\left(y\right)}.$

Théorème de Moore-Aronszajn

Dans les sections précédentes, on a défini une fonction noyau à partir d'un espace de Hilbert à noyau reproduisant. Il résulte de la définition d'une forme hermitienne que le noyau que nous avons défini est symétrique et Modèle:Lien. Le théorème de Moore-Aronszajn affirme que tout noyau symétrique défini positif définit un unique espace de Hilbert à noyau reproduisant. Le théorème apparaît pour la première fois dans l'article Theory of Reproducing Kernels d'Aronszajn, même s'il l'attribue à E. H. Moore.

Modèle:Démonstration/début Étape 1 : construction d'un espace préhilbertien $H_0$

Définissons, pour tout x dans E, $K_x=K(x,\cdot )$. Soit $H_0=\mathrm{V}\mathrm{e}\mathrm{c}\mathrm{t}(\{K_x:x\in E\})$ l'espace vectoriel engendré par les fonctions $K_x$ Définissons un produit hermitien sur $H_0$ par :

${⟨f,g⟩}_{H_0}={⟨\sum _{j=1}^n{b}_j{K}_{y_j},\sum _{i=1}^m{a}_i{K}_{x_i}⟩}_{H_0}=\sum _{i=1}^m\sum _{j=1}^n\overline{a_i}{b}_{j}K(y_j,x_i).$

La symétrie de ce produit résulte de la symétrie de K et la non-dégénérescence résulte du fait que K est défini positif. L'espace vectoriel $H_0$ muni du produit scalaire ${⟨.,.⟩}_{H_0}$ est donc préhilbertien.

Un point particulier est à signaler : les représentations de $f$ et $g$ ne sont pas uniques a priori dans $H_0$ ! On peut montrer que le produit scalaire ne dépend pas de cette représentation. En effet :

${⟨f,g⟩}_{H_0}=\sum _{i=1}^m\sum _{j=1}^n\overline{a_i}{b}_{j}K(y_j,x_i)=\sum _{i=1}^m\overline{a_i}(\sum _{j=1}^n{b}_{j}K(y_j,x_i))=\sum _{i=1}^m\overline{a_i}f(x_i).$

Donc le produit scalaire ne dépendra qu'aux valeurs prises par $f$ aux points $x_i$ et non des $b_j$. Le raisonnement est identique pour $g$.

Étape 2 : construction d'un complété $H$ de $H_0$ dans ${ℂ}^E$

Soit $(f_n{)}_n$ une suite de Cauchy dans $H_0$ et $x\in E$.

$|f_n(x)-f_m(x)|=\left|{⟨f_n-f_m,K_x⟩}_{H_0}\right|\le {\Vert f_n-f_m\Vert }_{H_0}\times \sqrt{K(x,x)}$

La suite $(f_n(x){)}_n$ est donc de Cauchy de $ℝ$. Il existe donc une limite simple $f$ de la suite de fonctions $(f_n{)}_n$ dans ${ℂ}^E$.

Introduisons désormais un nouvel espace :

$H=\{f:E\to ℝ|\mathrm{\exists }(f_n{)}_n\text{ de Cauchy dans }{H}_0,\underset{n\to \mathrm{\infty }}{\lim }{f}_n=f\}$

Par construction $H_0\subset H$ et $H$ est clairement un espace vectoriel, sur lequel on peut définir le produit scalaire suivant :

${⟨f,g⟩}_H=\underset{n\to \mathrm{\infty }}{\lim }{⟨f_n,g_n⟩}_{H_0}$

Le lemme suivant permet de montrer que cette application ne dépend pas des suites de Cauchy $(f_n{)}_n$ et $(g_n{)}_n$, qu'elle est bien une forme définie positive (la sequilinéarité et la symétrie hermitienne étant évidentes) et qu'elle coïncide bien avec ${⟨.,.⟩}_{H_0}$ sur $H_0$ :

$\begin{array}{c}(f_n{)}_n\text{ de Cauchy dans }{H}_0\\ \mathrm{\forall }x\in E,f_n(x)\underset{n\to \mathrm{\infty }}{\overset{}{\to }}f(x)\end{array}\}\Rightarrow f_n\underset{n\to \mathrm{\infty }}{\overset{}{\to }}f\text{ dans }{H}_0$

Et enfin ce dernier lemme permet d'affirmer que $H_0$ est dense dans $H$, soit $H=\overline{H_0}$ :

$\begin{array}{c}(f_n{)}_n\text{ de Cauchy dans }{H}_0\\ \mathrm{\forall }x\in E,f_n(x)\underset{n\to \mathrm{\infty }}{\overset{}{\to }}f(x)(f\in H)\end{array}\}\Rightarrow f_n\underset{n\to \mathrm{\infty }}{\overset{}{\to }}f\text{ dans }H$

Étape 3 : $(H,⟨.,.⟩)$ est complet !

Soit $(h_n{)}_n$ une suite de Cauchy dans $H$. Par densité, on peut trouver $(f_n{)}_n$ une suite de $H_0$ telle que $\Vert h_n-f_n{\Vert }_H\le \frac{1}{n}$. Ainsi :

$\begin{array}{cc}\Vert f_n-f_m{\Vert }_H& =\Vert f_n-h_n+h_n-h_m+h_m-f_m{\Vert }_H\\ & \le \Vert f_n-h_n{\Vert }_H+\Vert h_n-h_m{\Vert }_H+\Vert h_m-f_m{\Vert }_H\\ & \le \frac{1}{n}+\frac{1}{m}+\Vert h_n-h_m{\Vert }_H\underset{\min (n,m)\to \mathrm{\infty }}{\overset{}{\to }}0\end{array}$

La suite $(f_n{)}_n$ est donc de Cauchy dans $H_0$, ainsi il existe $f\in H$ telle que $\mathrm{\forall }x\in E,f_n(x)\underset{n\to \mathrm{\infty }}{\overset{}{\to }}f(x)$. Il suffit alors d'écrire :

$\begin{array}{cc}\Vert h_n-f{\Vert }_H& =\Vert h_n-f_n+f_n-f{\Vert }_H\\ & \le \Vert h_n-f_n{\Vert }_H+\Vert f_n-f{\Vert }_H\\ & \le \frac{1}{n}+\Vert f_n-f{\Vert }_H\underset{n\to \mathrm{\infty }}{\overset{}{\to }}0\end{array}$

$H$ est donc complet, c'est un espace de Hilbert.

Étape 4 : Unicité

Pour prouver l'unicité, soit $G$ un autre espace de Hilbert de fonctions pour lequel $K$ est un noyau reproduisant. Pour tout $x$ et $y$ dans $E$, $(*)$ implique que: $⟨K_x,K_y{⟩}_H=K(x,y)=⟨K_x,K_y{⟩}_G.$

Par linéarité, $⟨\cdot ,\cdot {⟩}_H=⟨\cdot ,\cdot {⟩}_G$ sur l'espace vectoriel $H_0$. Alors $G=H$ à cause de l'unicité de la complétion. Modèle:Démonstration/fin

Noyau de Bergman

Modèle:Article détaillé Le noyau de Bergman est défini pour tout ouvert D de ℂModèle:Exp. Prenons l'espace de Hilbert H des fonctions holomorphes sur D qui sont de carré intégrable pour la mesure de Lebesgue. La théorie n'est pas triviale dans le cas où il existe de telles fonctions, qui ne soient pas identiquement nulles. Alors H est un espace à noyau reproduisant, avec comme fonction noyau le noyau de Bergman ; cet exemple, lorsque n = 1, a été introduit par Bergman en 1922.

Références

• Modèle:Article