Entropie min

En probabilités et en théorie de l'information, l'entropie min d'une variable aléatoire discrète X prenant n valeurs ou sorties possibles 1... n associées au probabilités p₁... p_n est :

$H_{\mathrm{\infty }}(X)={\min }_{i=1}^n(-\log p_i)=-(\underset{i}{\max }\log p_i)=-\log \underset{i}{\max }{p}_i$

La base du logarithme est juste une constante d'échelle. Pour avoir un résultat en bits, il faut utiliser le logarithme en base 2. Ainsi, une distribution a une entropie min d'au moins b bits si aucune sortie n'a une probabilité plus grande que 2^-b.

L'entropie min est toujours inférieure ou égale à l'entropie de Shannon; avec égalité si toutes les valeurs de X sont équiprobables. L'entropie min est importante dans la théorie des extracteurs de hasard.

La notation $H_{\mathrm{\infty }}(X)$ vient d'une famille paramétrée d'entropies appelée entropie de Rényi,

$H_k(X)=-\log \sqrt[k-1]{\begin{array}{c}\sum _i(p_i{)}^k\end{array}}$