Voir la source de Entropie croisée

{{ébauche|mathématiques}}
L'entropie croisée entre deux distributions de probabilité p et q mesure le nombre moyen de bits nécessaires pour coder des événements provenant d'une distribution réelle p, en utilisant un système de codage basé sur une distribution q.

L'entropie croisée pour deux distributions <math>p</math> et <math>q</math> sur le même [[espace probabilisé]] est définie de la façon suivante :

<center><math>\mathrm{H}(p, q) = \mathrm{E}_p[-\log q] = \mathrm{H}(p) + D_{\mathrm{KL}}(p \| q)\!</math>,</center>

où <math>H(p)</math> est l'[[entropie de Shannon|entropie]] de <math>p</math>, et <math>D_{\mathrm{KL}}(p || q)</math> est la [[divergence de Kullback-Leibler]] entre <math>q</math> et <math>p</math>.

Pour <math>p</math> et <math>q</math> discrets, cela signifie

<center><math>\mathrm{H}(p, q) = -\sum_x p(x)\, \log q(x). \!</math></center>

La formule est analogue pour des [[Variable aléatoire|variables aléatoires]] continues :

<center><math>-\int_X p(x)\, \log q(x)\, dx. \!</math></center>

'''NB''': La notation <math>\mathrm{H}(p,q)</math> est parfois utilisées à la fois pour l'entropie croisée et l'[[entropie conjointe]] de <math>p</math> et <math>q</math>.

== Minimisation de l'entropie croisée ==
La minimisation de l'entropie croisée est souvent utilisée en optimisation et en estimation de probabilité d'événements rares ; voir [[méthode de l'entropie croisée]].

Quand on compare une distribution <math>q</math> avec une distribution de référence <math>p</math>, l'entropie croisée et la [[divergence de Kullback-Leibler]] sont identiques à une constante additive près (quand <math>p</math> est fixé): les deux atteignent leur minimum lorsque <math>p = q</math>, ce qui donne <math>0</math> pour la divergence KL, et <math>\mathrm{H}(p)</math> pour l'entropie croisée.

Cependant, comme expliqué dans l'article ''[[divergence de Kullback-Leibler]]'', la distribution <math>q</math> est parfois la loi fixée a priori, et la distribution <math>p</math> est optimisée pour être la plus proche possible de <math>q</math>, sous certaines contraintes. Dans ce cas les deux minimisations ne sont pas équivalentes. Cela conduit à des ambiguïtés dans la littérature, avec des auteurs tentant de réduire la confusion en définissant l'entropie croisée par <math>D_{KL}(p||q)</math> plutôt que par <math>H(p,q)</math>.

== Voir aussi ==

* [[Méthode de l'entropie croisée]]

* [[Entropie conditionnelle]]

== Références ==

{{Traduction/Référence|en|Cross entropy|245701517}}

{{Portail|mathématiques}}

[[Catégorie:Théorie de l'information]]