Régression polynomiale

Modèle:Début d'illustration Modèle:Fin d'illustration

Régression sur un nuage de points par un polynôme de degré croissant.

La régression polynomiale est une analyse statistique qui décrit la variation d'une variable aléatoire expliquée à partir d'une fonction polynomiale d'une variable aléatoire explicative. C'est un cas particulier de régression linéaire multiple, où les observations sont construites à partir des puissances d'une seule variable.

Présentation

Si l'on appelle Modèle:Math la i-ème réalisation du couple de variables aléatoires, on recherche le polynôme

$P_n(x)=a_n{x}^n+a_{n-1}{x}^{n-1}+\dots +a_{1}x+a_0,$

permettant d'écrire

$Y_i=P_n(X_i)+{\epsilon }_i$

le résidu Modèle:Mvar, ou perturbation, étant « le plus petit » dans le sens des moindres carrés.

La régression polynomiale est une régression linéaire multiple : on peut écrire la relation, pour Modèle:Math :

$Y_i=a_n\cdot X_{i,n}+a_{n-1}\cdot X_{i,n-1}+\dots +a_1\cdot X_{i,1}+a_0+{\epsilon }_i.$

Cas particuliers

La régression linéaire est une régression polynomiale de degré 1.

Applications

Un certain nombre de lois physiques s'expriment sous la forme de polynômes. La régression polynomiale permet alors d'estimer les valeurs des paramètres de la loi.

La méthode de lissage et de dérivation de Savitzky-Golay utilise une régression polynomiale sur un intervalle glissant.

Résolution par la méthode des moindres carrés

Considérons un jeu de données Modèle:Math. On veut effectuer une régression par un polynôme de degré trois :

$P_3(x)=a{x}^3+b{x}^2+cx+d.$

Le carré du résidu s'écrit :

$\epsilon (x,y{)}^2={(P_3(x)-y)}^2$

soit

$\begin{array}{c}\epsilon (x,y{)}^2=x^6{a}^2+2x^{5}ab+2x^{4}ac+2x^{3}ad-2x^{3}ya\\ +x^4{b}^2+2x^{3}bc+2x^{2}bd-2x^{2}yb\\ +x^2{c}^2+2xcd-2xyc\\ +d^2-2yd\\ +y^2\text{.}\end{array}$

On note alors:

${\epsilon }_i:=\epsilon (X_i,Y_i)$

Les valeurs Modèle:Math minimisent la somme des carrés des résidus Modèle:Mvar :

$e=\sum _i{\epsilon }_i^2$

On appelle

${\mathrm{S}}_j=\sum _i{\mathrm{X}}_i^j$

et

${\mathrm{T}}_j=\sum _i{\mathrm{X}}_i^j{\mathrm{Y}}_i$

Si le paramètre Modèle:Mvar est plus élevé ou plus bas, la valeur de Modèle:Mvar augmente. La valeur de Modèle:Mvar est donc minimale pour le Modèle:Mvar recherché, c'est-à-dire que la dérivée partielle de Modèle:Mvar par rapport à Modèle:Mvar doit être nulle :

$\frac{\partial e}{\partial a}=0⟹2a{\mathrm{S}}_6+2b{\mathrm{S}}_5+2c{\mathrm{S}}_4+2d{\mathrm{S}}_3-2{\mathrm{T}}_3=0$.

On peut faire de même pour chaque paramètre, ce qui donne un système d'équations linéaires :

$\left(\begin{array}{cccc}{\mathrm{S}}_6& {\mathrm{S}}_5& {\mathrm{S}}_4& {\mathrm{S}}_3\\ {\mathrm{S}}_5& {\mathrm{S}}_4& {\mathrm{S}}_3& {\mathrm{S}}_2\\ {\mathrm{S}}_4& {\mathrm{S}}_3& {\mathrm{S}}_2& {\mathrm{S}}_1\\ {\mathrm{S}}_3& {\mathrm{S}}_2& {\mathrm{S}}_1& {\mathrm{S}}_0\end{array}\right)\cdot \left(\begin{array}{c}a\\ b\\ c\\ d\end{array}\right)=\left(\begin{array}{c}{\mathrm{T}}_3\\ {\mathrm{T}}_2\\ {\mathrm{T}}_1\\ {\mathrm{T}}_0\end{array}\right)\text{.}$

Voir aussi

• Régression (statistiques)
• Interpolation polynomiale
• Compression de courbe