Régression de Poisson

En statistique, la régression de Poisson est un modèle linéaire généralisé utilisé pour les données de comptage et les tableaux de contingence. Cette régression suppose que la variable réponse Y suit une loi de Poisson et que le logarithme de son espérance peut être modélisé par une combinaison linéaire de paramètre inconnus.

Modèle de régression

Soit $𝐱\in {ℝ}^n$ un vecteur de variables indépendantes, et $y\in \mathbb{N}$ la variable que l'on cherche à prédire. Réaliser une régression de Poisson revient à supposer que $Y|𝕩$ suit une loi de Poisson de paramètre $\lambda :=\mathrm{E}(Y\mid 𝐱)=\exp (\alpha +{\mathit{\beta }}^{\prime }𝐱)$, avec $\alpha \in ℝ$ et $\mathit{\beta }\in {ℝ}^n$ les paramètres de la régression à estimer, et ${\beta }^{\prime }𝐱$ le produit scalaire standard de ${ℝ}^n$.

On peut ré-écrire le modèle ci-dessus

$\log (\mathrm{E}(Y\mid 𝐱))=\alpha +{\mathit{\beta }}^{\prime }𝐱,$

ou de manière plus compacte

$\log (\mathrm{E}(Y\mid 𝐱))={\mathit{\theta }}^{\prime }𝐱,$

avec un $𝐱\in {ℝ}^{n+1}$ correspondant au précédent avec un élément supplémentaire valant 1. De même, $\mathit{\theta }=[\alpha ,{\beta }^{\prime }{]}^{\prime }\in {ℝ}^{n+1}$.

L'objectif de la régression de Poisson est d'estimer $\mathit{\theta }$. Une fois ce vecteur estimé, il est possible de prédire $Y$ pour un nouveau ${𝐱}_1$ avec

$\mathrm{E}(Y\mid {𝐱}_1)=\exp ({\mathit{\theta }}^{\prime }{𝐱}_1).$

Si l'on a accès à une collection de $m$ couples indépendants : $({𝐱}_i,y_i{)}_{1\le i\le m}$, alors $\mathit{\theta }$ peut être estimé par maximum de vraisemblance.

Estimation des paramètres par maximum de vraisemblance

Comme indiqué plus haut, à partir d'un paramètre $\mathit{\theta }$ et d'un vecteur d'entrée $𝐱\in {ℝ}^{n+1}$, la variable de sortie $y$ suit une loi de Poisson de paramètre

$\lambda :=\mathrm{E}(Y\mid 𝐱)=\exp ({\mathit{\theta }}^{\prime }𝐱),$

La fonction de masse de cette loi de Poisson est alors

$p(y|𝐱;\mathit{\theta })=\frac{{\lambda }^y}{y!}{\mathrm{e}}^{-\lambda }=\frac{\exp (y{\mathit{\theta }}^{\prime }𝐱-{\mathrm{e}}^{{\mathit{\theta }}^{\prime }𝐱})}{y!}$

On suppose que l'on ait accès à une collection de $m$ couples indépendants : $({𝐱}_i,y_i{)}_{1\le i\le m}$. Alors, pour un vecteur $\mathit{\theta }$ donné, la fonction de vraisemblance (c'est-à-dire la probabilité d'obtenir cet ensemble de données particulier) s'écrit

$L(\mathit{\theta }|X,Y):=p(y_1,\dots ,y_m\mid {𝐱}_1,\dots ,{𝐱}_m;\theta )=\prod _{i=1}^m\frac{\exp (y_i{\mathit{\theta }}^{\prime }{𝐱}_i-{\mathrm{e}}^{{\mathit{\theta }}^{\prime }{𝐱}_i})}{y_i!}.$

L'estimateur du maximum de vraisemblance, comme son nom l'indique, renvoie la valeur de $\mathit{\theta }$ qui maximise la vraisemblance des données. Pour ce faire, puisqu'il est difficile d'optimiser une fonction écrite comme un produit dont tous les termes sont positifs, on minimise la négative log-vraisemblance

$\ell (\mathit{\theta }\mid X,Y):=-\log L(\mathit{\theta }\mid X,Y)=\sum _{i=1}^m(-y_i{\mathit{\theta }}^{\prime }{𝐱}_i+{\mathrm{e}}^{{\mathit{\theta }}^{\prime }{𝐱}_i}+\log (y_i!)).$

On peut remarquer que le terme $\log (y_i!)$ ne dépend pas de $\mathit{\theta }$. Puisque l'on cherche à trouver le $\mathit{\theta }$ qui minimise cette négative log-vraisemblance, on peut la simplifier à une constante additive près. Par abus de langage, on identifie la véritable log-vraisemblance négative et la version à une constante additive près :

$\ell (\mathit{\theta }\mid X,Y)=\sum _{i=1}^m(-y_i{\mathit{\theta }}^{\prime }{𝐱}_i+{\mathrm{e}}^{{\mathit{\theta }}^{\prime }{𝐱}_i}).$

Pour trouver le minimum de cette log-vraisemblance négative, on résout l'équation $\frac{\partial \ell (\mathit{\theta }\mid X,Y)}{\partial \mathit{\theta }}=0$, qui n'a pas de solution explicite. Cependant, puisque cette fonction est convexe, on peut utiliser des algorithmes efficace d'optimisation convexe comme la méthode de Newton pour obtenir rapidement la valeur optimale de $\mathit{\theta }$.

Voir aussi

• Loi de Poisson
• Loi binomiale négative

Modèle:Portail