Voir la source de Covariance

{{autre|le principe physique|Principe de covariance générale}}
{{confusion|texte=Ne pas confondre avec la [[covariance et contravariance|covariance]] d'un tenseur en algèbre ou en géométrie différentielle, ou d'un [[foncteur]] en théorie des catégories.}}

[[Image:GaussianScatterPCA.png|thumb|right|Nuage de points associé à une [[loi normale multidimensionnelle]] avec un [[écart type]] de 3 dans la direction droite-haut et un écart type de 1 dans la direction orthogonale. Puisque les composantes en ''x'' et ''y'' « covarient », les variances respectives de ces variables ne permettent pas de décrire complètement la distribution. Une matrice de covariance 2&times;2  est nécessaire ; les flèches indiquent les directions des [[Valeur propre (synthèse)|vecteurs propres]] de la matrice et leurs longueurs correspondent aux racines carrées de ses [[Valeur propre (synthèse)|valeurs propres]].]]

En [[théorie des probabilités]] et en [[statistique]], la '''covariance''' entre deux [[Variable aléatoire réelle|variables aléatoires]] est un nombre permettant de quantifier leurs écarts conjoints par rapport à leurs [[Espérance mathématique|espérances]] respectives. Elle s’utilise également pour deux séries de données numériques (écarts par rapport aux [[Moyenne|moyennes]]). La covariance de deux variables aléatoires [[Indépendance (probabilités)|indépendantes]] est nulle, bien que la réciproque ne soit pas toujours vraie.

La covariance est une extension de la notion de [[Variance (statistiques et probabilités)|variance]]. La [[Corrélation (statistiques)|corrélation]] est une forme [[Norme (mathématiques)|normalisée]] de la covariance (la [[Analyse dimensionnelle|dimension]] de la covariance entre deux variables est le produit de leurs dimensions, alors que la corrélation est une grandeur [[Grandeur sans dimension|adimensionnelle]]).

Ce concept se généralise naturellement à plusieurs variables ([[vecteur aléatoire]]) par la '''matrice de covariance'''  (ou '''matrice de variance-covariance''') qui, pour un ensemble de p variables aléatoires réelles ''X''{{ind|1}}... ''X{{ind|p}}'' est la [[Matrice (mathématiques)#Définitions|matrice carrée]] dont l'élément de la ligne ''i'' et de la colonne ''j'' est la covariance des variables ''X''<sub>''i''</sub> et ''X''<sub>''j''</sub>. Cette matrice permet de quantifier la variation de chaque variable par rapport à chacune des autres. La forme normalisée de la matrice de covariance est la [[matrice de corrélation]].

À titre d'exemple, la dispersion d'un ensemble de points aléatoires dans un espace à deux dimensions ne peut pas être totalement caractérisée par un seul nombre, ni par les seules variances dans les directions ''x'' et ''y'' ; une matrice {{nobr|2 × 2}} permet d’appréhender pleinement la nature bidimensionnelle des variations. 

La matrice de covariance étant une matrice semi-[[Matrice définie positive|définie positive]], elle peut être [[Diagonalisation|diagonalisée]] et l’étude des [[valeur propre (synthèse)|valeurs propres]] et vecteurs propres permet de caractériser la distribution à l’aide d’une [[Forme_bilinéaire_symétrique#Bases_orthogonales|base orthogonale]] : cette approche est l'objet de l'[[analyse en composantes principales]] qui peut être considérée comme une sorte de compression de l’information.

== Définition ==
La covariance de deux variables aléatoires réelles ''X'' et ''Y'' ayant chacune une variance (finie<ref>Les variables sont supposées appartenir à l'espace vectoriel <math>L^2(\Omega, \mathcal{B}, \operatorname{P})</math> des variables aléatoires de carré intégrable.</ref>), notée Cov(''X, Y'') ou parfois {{math|σ{{ind|''XY''}}}}, est la valeur :
{{Théorème|Définition|<math>\operatorname{Cov}(X,Y)\equiv \operatorname{E}[(X-\operatorname{E}[X])\,(Y-\operatorname{E}[Y])]</math>}}
où <math>\operatorname{E}[~]\ </math> désigne l'[[espérance mathématique]]. La variance de ''X'' est donc Var(''X'') = Cov(''X'', ''X''). Intuitivement, la covariance caractérise les variations simultanées de deux variables aléatoires : elle sera positive lorsque les écarts entre les variables et leurs moyennes ont tendance à être de même signe, négative dans le cas contraire.

Conformément à l'expression de sa définition, la dimension de la covariance est le produit des dimensions des variables. En revanche, la [[Corrélation_(statistiques)#Coefficient_de_corr.C3.A9lation_lin.C3.A9aire_de_Bravais-Pearson|corrélation]], qui s’exprime à l’aide de la variance et de la covariance, prend ses valeurs dans [-1, 1] et reste adimensionnelle. Deux variables aléatoires dont la covariance est nulle sont dites non corrélées : leur corrélation est également nulle.

Pour deux variables aléatoires discrètes ''X'' et ''Y'' prenant respectivement leurs valeurs dans deux ensembles finis <math>\ \{x_i\,|\, 1\le i\le n\},</math> et <math>\ \{y_j\,|\, 1\le j\le m\},</math> on a pour leur covariance
<center><math>\operatorname{Cov}(X,Y) = \sum_{i=1}^n \sum_{j=1}^m\,x_i y_j \operatorname{P}(X=x_i\ \textrm{et}\ Y=y_j)-\operatorname{E}[X]\operatorname{E}[Y].</math></center>
et pour les variances :
<center><math>\sigma_X^2 = \sum_{i=1}^n x_i^2 \operatorname{P}(X=x_i)-\operatorname{E}[X]^2\quad\textrm{et}\quad\sigma_Y^2 = \sum_{j=1}^m y_j^2 \operatorname{P}(Y=y_j)-\operatorname{E}[Y]^2.</math></center>

== Définition de la matrice de covariance ==
La '''matrice de covariance''' d'un [[vecteur]] de ''p'' variables aléatoires  <math>\vec X=\begin{pmatrix} X_1  \\ \vdots\\ X_p \end{pmatrix}</math> dont chacune possède une variance, est la matrice carrée dont le terme générique est donné par
:<math>a_{i,j}=\textrm{Cov}\left(X_i,X_j\right)</math>

La matrice de covariance, notée parfois <math>\boldsymbol\Sigma</math>, est définie par<ref>{{lien web|titre=Statistiques - Vecteurs gaussien|url=https://www.math.univ-paris13.fr/~tournier/fichiers/agreg/statistiques.pdf|site=Université Paris 13}}, {{page|1}}.</ref>:

{{Théorème|Définition|<math>\operatorname{Var}(\vec X) \equiv \operatorname{E}[(\vec X-\operatorname{E}(\vec X))(\vec X-\operatorname{E}(\vec X))^T]</math>}}

En développant les termes :
:<math>\operatorname{Var}(\vec X)
=
\begin{pmatrix} 
\operatorname{Var}(X_1) & \operatorname{Cov}(X_{1},X_{2}) &  \cdots & \operatorname{Cov}(X_{1},X_{p}) \\
\operatorname{Cov}(X_{2},X_{1}) & \ddots & \cdots & \vdots\\
\vdots & \vdots & \ddots & \vdots\\
\operatorname{Cov}(X_{p},X_{1}) & \cdots & \cdots&  \operatorname{Var}(X_p) 
\end{pmatrix}
=
\begin{pmatrix} 
\sigma^2_{x_1} & \sigma_{x_{1}x_{2}} &  \cdots & \sigma_{x_{1}x_{p}} \\
\sigma_{x_{2}x_{1}} & \ddots & \cdots & \vdots\\
\vdots & \vdots & \ddots & \vdots\\
\sigma_{x_{p}x_{1}} & \cdots & \cdots&  \sigma^2_{x_p} 
\end{pmatrix}
</math>

== Propriétés ==
Une généralisation du [[théorème de König-Huygens]] pour la variance implique :

{{Théorème|Propriété|<math>\operatorname{Cov}(X, Y) = \operatorname{E}(X Y) - \operatorname{E}(X)\operatorname{E}(Y)</math>}}

{{Théorème|Corollaire|Si X et Y sont [[Indépendance (probabilités)|indépendantes]] alors <math>\operatorname{Cov}(X,Y) =0</math>.}}

La [[réciproque]] n'est en général pas vraie.
{{Démonstration|titre=Contre-exemple|contenu=
Il suffit de trouver deux variables ''X'' et ''Y'' de covariance nulle et qui ne sont pas indépendantes. Soit ''z'' une variable discrète qui peut prendre les valeurs 1 ou -1 de manière équiprobable (suivant une [[loi de Rademacher]]).

Soit ''X'' une  [[loi de Bernoulli|variable de Bernoulli]] de paramètre <math>p \in ]0,1[</math>  indépendante de ''z''. Alors ''X'' et ''Y'' = ''z X'' ne sont clairement pas indépendantes. Cependant

<math>\operatorname{Cov}(X, Y) = \operatorname{E}(X Y) - \operatorname{E}(X)\operatorname{E}(Y) = \operatorname{E}(z)\operatorname{Var}(X) = 0.</math>
}}

{{Théorème|Propriétés|
*<math>\operatorname{Cov}(X, X) = \operatorname{Var}(X)</math>
*<math>\operatorname{Cov}(X, Y) = \operatorname{Cov}(Y, X)</math>
*<math>\operatorname{Cov}(cX, Y) = c \operatorname{Cov}(X, Y)</math> où ''c'' est une constante
*<math>\operatorname{Cov}(X+c, Y) = \operatorname{Cov}(X, Y)</math> où ''c'' est une constante
*<math>\operatorname{Cov}(X+Y, Z) = \operatorname{Cov}(X, Z)+\operatorname{Cov}(Y, Z)</math> où ''X'', ''Y'' et ''Z'' sont trois variables}}

[[Bilinéaire|Bilinéarité]] de la covariance : 
{{Théorème|Propriété| <math>\operatorname{Cov}\left(\sum_i{X_i} \ , \sum_j{Y_j}\right) = \sum_i{\sum_j{\operatorname{Cov}\left(X_i, Y_j\right)}}</math>}}
::Ceci traduit le fait que la covariance est une [[forme bilinéaire symétrique]] positive, et que la [[forme quadratique]] associée est la variance.

{{Théorème|Corollaire| <math>\operatorname{Var}(aX+bY) = a^2\operatorname{Var}(X) + b^2\operatorname{Var}(Y) + 2ab \operatorname{Cov}(X,Y)</math>}}
::Cette formule est l'analogue de <math>(x+y)^2=x^2+y^2+ 2xy</math> . En fait, la plupart des propriétés de la covariance sont analogues à celles du produit de deux réels ou du produit scalaire de deux vecteurs. 

{{Théorème|Propriété| <math>\operatorname{Var}\left(\sum_{i=1}^n{X_i}\right) = \sum_{i=1}^n\operatorname{Var}(X_i) + 2\sum_{1\le i<j\le n}\operatorname{Cov}(X_i,X_j)</math>}}
::Cette formule est classique pour une [[forme quadratique]] associée à une [[forme bilinéaire symétrique]].

== Propriétés de la matrice de covariance==
* La matrice de covariance est [[matrice symétrique|symétrique]] ; ses éléments diagonaux sont les variances et les éléments extra-diagonaux sont les covariances des couples de variables.
* La matrice de covariance est semi-[[matrice définie positive|définie positive]] (ses [[Valeur propre (synthèse)|valeurs propres]] sont positives ou nulles). Elle est définie positive (valeurs propres strictement positives) s'il n'existe aucune relation [[Fonction affine|affine]] presque sûre entre les composantes du vecteur aléatoire.
* Soit une [[application linéaire]] <math>F</math> de <math>M_{m,n}(R)</math> de matrice <math>M</math>
:Soit <math>\vec X=\begin{pmatrix} X_1  \\ \vdots\\ X_n \end{pmatrix}</math> un vecteur aléatoire de matrice de covariance <math>C</math> de <math>M_{n}(R)</math>.
:Alors le vecteur aléatoire <math>F(X)</math> a pour matrice de covariance <math>M\,C\,M^T.</math>
* L'[[inverse]] de la matrice de covariance est parfois désignée « matrice de précision ».

== Estimation ==
En partant d’un [[Échantillon (statistiques)|échantillon]] de réalisations indépendantes d’un vecteur aléatoire, un [[Estimateur (statistique)#Estimateur_de_la_variance_de_Y|estimateur non-biaisé]] de la matrice de covariance est donné par

:<math>\operatorname{\widehat {Var}}(\vec X)= {1 \over {n-1}}\sum_{i=1}^n (\vec X_i-\overline{\vec{X}})(\vec X_i-\overline{\vec{X}})^T</math>
  
:: où <math>\overline{\vec X}={1 \over {n}}\sum_{i=1}^n \vec X_i</math> est le vecteur des moyennes empiriques. 

L’estimateur de la covariance de deux variables ''X'' et ''Y'' n’est qu’un cas particulier :
:<math>\operatorname{\widehat {Cov}}(X, Y)= {1 \over {n-1}}\sum_{i=1}^n (X_i-\overline{X})(Y_i-\overline{Y}).</math>

Lorsque ''X'' suit une [[loi normale multidimensionnelle]], l'estimateur du [[maximum de vraisemblance]] vaut en revanche : 

:<math>\operatorname{\widehat {Var}}(\vec X)={1 \over n}\sum_{i=1}^n (\vec X_i-\overline{\vec X})(\vec X_i-\overline{\vec X})^T.</math>

Dans le cas où les données sont générées par une loi normale multidimensionnelle, l'estimateur du maximum de vraisemblance suit une [[loi de Wishart]].

Le [[test de sphéricité de Bartlett]] permet de juger si les coefficients extra-diagonaux de la matrice sont globalement non nuls.

== Processus stochastiques ==
Pour les [[processus stochastiques]] qui traitent de l’évolution d’une variable aléatoire, la covariance fait place aux concepts d’[[autocovariance]] et d’[[autocorrélation]], puis d’[[Estimateur (statistique)|estimation]] de la [[densité spectrale]] pour les [[processus stationnaire|processus stationnaires]].

=== Exemples ===
*Dans un forum Internet, quelqu'un affirme que l'activité du forum est plus intense les jours de pleine lune. On peut ne pas disposer du calendrier des pleines lunes, mais si cette affirmation est exacte et si l'on nomme ''N''(''t'') le nombre de contributions au jour ''t'', la covariance entre ''N''(''t'') et ''N''(''t''+29) cumulée sur toutes les valeurs de ''t'', sera probablement supérieure aux covariances entre ''N''(''t'') et ''N''(''t''+''x'') pour les valeurs de ''x'' différentes de 29 ([[période synodique]] de la lune).
*Un processus stochastique ''X{{ind|t}}'' sur un [[espace métrique]] ''S'' est dit de '''covariance isotrope''' si sa covariance entre deux variables dépend uniquement  de la distance entre les indices :
:<math>\exists f:\R^+\mapsto\R, \forall t,s\in S, \operatorname{Cov}\left(X_s,X_t\right)=f\left(\left\|s-t\right\|\right)</math>
:Si ''X'' est un processus centré isotrope sur {{Formule|ℝ{{exp|''d''}}}}, l’autocorrélation isotrope vérifie {{Formule|''ρ''(‖''h''‖) ≥ {{frac|−1|''d''}}}}.

== Utilisation en statistique ==
La matrice de covariance est un outil essentiel pour l'[[Analyse des données (statistiques)|analyse multivariée]] :
* l'[[analyse en composantes principales]] qui exploite la [[diagonalisation]] de cette matrice ;
* l'[[analyse discriminante]] qui se fonde sur l’examen des coefficients de cette matrice.

== Autres applications ==
La connaissance des covariances est le plus souvent indispensable dans les fonctions d'[[Estimateur (statistique)|estimation]], de filtrage et de [[Lissage (mathématiques)|lissage]]. En [[photographie]], elles permettent d'arriver à corriger de façon spectaculaire les [[flou]]s de mise au point ainsi que les flous de mouvement, ce qui est extrêmement important pour les clichés astronomiques. On les utilise également en [[automatique]]. En [[sociolinguistique]], la covariance désigne la correspondance entre l’appartenance à une certaine [[classe sociale]] et un certain parler inhérent à cette condition sociale.
Les matrices de covariances sont utilisées pour le [[krigeage]] et les méthodes d'analyse par [[décomposition orthogonale aux valeurs propres]]<!-- (en: POD Proper Orthogonal Decomposition) ou par fonctions orthogonales empiriques (en: EOF Empirical Orthogonal Functions) -->. Enfin, on l'utilise encore en finance, pour juger si deux placements ont tendance à évoluer dans le même sens, dans des sens opposés, ou si leurs valeurs ne sont pas liées.

== Voir aussi ==
* [[Loi normale multidimensionnelle]]
* [[Autocovariance]]
* [[Matrice de corrélation]]
* [[Analyse en composantes principales]]
* [[Covariance de Matérn]]
* [[Tableau de contingence]]

== Notes et références ==
{{Références}}

{{Autres projets|wiktionary=covariance}}

{{Palette Probabilités et statistiques}}

{{Portail|Probabilités}}

[[Catégorie:Corrélation et indépendance]]
[[Catégorie:Statistiques]]
[[Catégorie:Matrice]]
[[Catégorie:Plan d'expériences]]