Voir la source de Critère d'information d'Akaike

{{Voir homonymes|AIC}}
{{Infobox Méthode scientifique}} 

Le '''critère d'information d'Akaike''', (en anglais '''Akaike information criterion''' ou AIC) est une mesure de la qualité d'un [[modèle statistique]] proposée par [[Hirotugu Akaike]] en 1973. 

Lorsque l'on estime un modèle statistique, il est possible d'augmenter la [[maximum de vraisemblance|vraisemblance]] du modèle en ajoutant un paramètre. Le critère d'information d'Akaike, tout comme le [[critère d'information bayésien]], permet de pénaliser les modèles en fonction du nombre de paramètres afin de satisfaire le [[Rasoir d'Ockham|critère de parcimonie]]. On choisit alors le modèle avec le critère d'information d'Akaike le plus faible<ref>{{harvsp|Cameron|Trivedi|2005|p=278-279}}</ref>.

== Définition ==
Le critère d'information d'Akaike s'écrit comme suit : 

:<math>\mathit{AIC} = 2k - 2\ln(L)</math>

où k est le nombre de paramètres à estimer du modèle et L est le maximum de la [[fonction de vraisemblance]] du modèle.

Si l'on considère un ensemble de modèles candidats, le modèle choisi est celui qui aura la plus faible valeur d'AIC. Ce critère repose donc sur un compromis entre la qualité de l'ajustement et la complexité du modèle, en pénalisant les modèles ayant un grand nombre de paramètres, ce qui limite les effets de [[surapprentissage|sur-ajustement]] (augmenter le nombre de paramètre améliore nécessairement la qualité de l'ajustement).

L'AIC s'appuie sur la [[théorie de l'information]] : il propose une estimation de la perte d'information lorsqu'on utilise le modèle considéré pour représenter le processus qui génère les données. L'AIC ne fournit pas un test de modèle dans le sens d'une [[hypothèse nulle]], c'est-à-dire que ce test ne dit rien de la qualité absolue du modèle. Il ne rendrait ainsi pas compte du fait que tous les modèles candidats ne produisent pas de bons ajustements.

Plus précisément, supposons que les données soient générées par un processus inconnu ''f''. On considère deux modèles candidats pour représenter ''f'': ''g''<sub>1</sub> et ''g''<sub>2</sub>. Si ''f'' était connu, alors l'information perdue en utilisant ''g''<sub>1</sub> pour représenter ''f'' serait également connue en calculant la [[divergence de Kullback-Leibler]] ''D''<sub>KL</sub>(''f'' ‖ ''g''<sub>1</sub>). De la même façon, l'information perdue en représentant ''f'' par ''g''<sub>2</sub> serait ''D''<sub>KL</sub>(''f'' ‖ ''g''<sub>2</sub>). On choisirait alors le meilleur modèle en minimisant l'information perdue. Cependant, on ne peut choisir avec certitude car ''f'' est en général inconnu. Akaike a montré en 1973 qu'il est possible d'estimer en utilisant l'AIC si l'utilisation de ''g''<sub>1</sub> plutôt que ''g''<sub>2</sub> amène plus ou moins de perte d'information. Cette estimation n'est valide que de manière asymptotique: si le nombre de points est faible, une correction est souvent nécessaire (voir AICc).

== Utilisation pratique de l'AIC ==
Supposons disposer d'un ensemble de modèles-candidats, dont on calcule les valeurs d'AIC associées. Il y aura toujours une perte d'information, du fait qu'on utilise un modèle pour représenter le processus générant les données réelles, et nous cherchons donc à sélectionner le modèle qui minimise cette perte d'information (ou plus exactement son estimation par l'AIC).

Notons les diverses valeurs d'AIC des différents modèles AIC<sub>1</sub>, AIC<sub>2</sub>, AIC<sub>3</sub>, &hellip;, AIC<sub>''R''</sub> et AIC<sub>min</sub> le minimum de ces valeurs. Dans ce cas exp((AIC<sub>min</sub>&minus;AIC<sub>''i''</sub>)/2) est proportionnel à la probabilité que le ''i''ème candidat modèle minimise l'estimation de la perte d'information<ref>{{Harvnb|Burnham|Anderson|2002|loc=&sect;6.4.5}}</ref>.

Par exemple, supposons qu'il y ait trois modèles candidats avec pour AIC respectives: 100, 102 et 110. Dans ce cas, la probabilité pour que le second modèle soit celui qui minimise la perte d'information est de exp((100−102)/2) = 0.368 fois la probabilité pour que ce soit le premier modèle. De la même manière, la probabilité pour que le troisième modèle soit celui qui minimise la perte d'information est de exp((100−110)/2) = 0.007 fois la probabilité pour que ce soit le premier modèle.

Dans ce cas de figure, on peut considérer que les deux premiers modèles sont de qualité proches. Il y a alors plusieurs possibilités:
* collecter plus de données, en espérant que la distinction entre le premier et le second modèles soit plus nette,
* simplement considérer que les données sont insuffisantes pour distinguer que le premier modèle est significativement meilleur que le second,
* prendre une [[moyenne pondérée]] des deux modèles, avec pour poids respectifs 1 et 0.368, puis faire les inférences statistiques depuis ce multi-modèle pondéré<ref>{{Harvnb|Burnham|Anderson|2002}}</ref>.

La quantité exp((AIC<sub>min</sub>−AIC<sub>i</sub>)/2) est la vraisemblance relative du modèle ''i''.

Si tous les modèles de l'ensemble des candidats ont le même nombre de paramètres, alors utiliser l'AIC peut paraître semblable à utiliser les rapports de vraisemblance. Il existe cependant des distinctions importantes, en particulier, le test du rapport de vraisemblance est valide seulement pour les modèles imbriqués alors que l'AIC (et l'AICc) n'ont pas de telle restriction<ref>{{Harvnb|Burnham|Anderson|2002|loc=&sect;2.12.4}}</ref>.

== AICc ==

L'AICc est une correction de l'AIC pour le cas d'échantillons de petite taille :
:<math>AICc = AIC + \frac{2k(k + 1)}{n - k - 1}</math>
où ''n'' désigne la taille de l'échantillon. 

L'AICc intègre donc une pénalité supplémentaire pour les paramètres additionnels. L'utilisation de l'AIC plutôt que de l'AICc lorsque ''n'' n'est pas beaucoup plus grand que ''k'' augmente la probabilité de sélectionner un modèle avec un trop grand nombre de paramètres, c'est-à-dire de sur-ajuster. Cette probabilité de sur-ajustement avec l'AIC peut être élevée dans certains cas<ref>{{Harvnb|Claeskens|Hjort|2008|loc=&sect;8.3}}</ref>.

Burnham et Anderson (2002) recommandent fortement l'utilisation de l'AICc à la place de l'AIC si ''n'' est petit et/ou ''k'' grand, on note d'ailleurs que l'AICc tend vers l'AIC lorsque ''n'' devient grand<ref>{{Harvnb|Burnham|Anderson|2004}}</ref>. Brockwell et Davis conseillent d'utiliser l'AICc comme critère primaire pour la sélection de [[ARMA|modèles ARMA]] de séries temporelles<ref name="B D">{{Harvnb|Brockwell|Davis|1991|p=273}}</ref>. McQuarrie et Tsai (1998) ont confirmé l'intérêt de l'AICc à l'aide d'un grand nombre de simulations sur des régressions et des séries temporelles.

L'AICc a été proposé en premier lieu par Hurvich et Tsai (1989). Plusieurs variantes ont été proposées par Brockwell et Davis (1991), Burnham et Anderson, puis Cavanaugh (1997). Toutes les variantes supposent un modèle monovariant avec des erreurs distribuées de manière normale, si cette hypothèse n'est pas vérifiée, la formule de l'AICc devra être modifiée en général. 

Une discussion plus avancée sur le sujet, avec d'autres exemples et hypothèses, est proposée dans Burnham et Anderson (2002, ch. 7). En particulier, une estimation par [[bootstrap (statistiques)|bootstrapping]] est en général possible.

On remarquera que lorsque le nombre de paramètres ''k'' est le même pour tous les modèles, alors l'AICc et l'AIC auront des valeurs relatives identiques. Dans cette situation l'AIC peut donc toujours être utilisé.

== Lien avec le test du χ{{2}} et les modèles linéaires généralisés ==

=== Test du chi-2 ===

Si l'on suppose que les fonctions de vraisemblance sont telles que les erreurs sous-jacentes sont [[indépendance (probabilités)|indépendantes]] et distribuées de manière [[Loi normale|normale]] (avec une moyenne nulle), alors l'ajustement peut-être réalisé à l'aide du test du {{math|χ{{2}}}} (chi-2).

Dans le cas du test du {{math|χ{{2}}}}, la vraisemblance est donnée par 
:<math>L=\prod_{i=1}^n \left(\frac{1}{2 \pi \sigma_i^2}\right)^{1/2} \exp \left( -\sum_{i=1}^{n}\frac{(y_i-f(x_i))^2}{2\sigma_i^2}\right)</math>
:<math>\Rightarrow \ln(L) = \ln\left(\prod_{i=1}^n\left(\frac{1}{2\pi\sigma_i^2}\right)^{1/2}\right) - \frac{1}{2}\sum_{i=1}^n \frac{(y_i-f(x_i))^2}{\sigma_i^2}</math>
:<math>\Rightarrow \ln(L) = C - \chi^2/2 \,</math>,
où ''C'' est une constante indépendante du modèle utilisé, elle ne dépend que de l'usage de certaines données, c'est donc une constante si les données restent inchangées.

L'AIC est alors donné par <math>AIC = 2k - 2\ln(L) = 2k - 2(C-\chi^2/2) = 2k -2C + \chi^2</math>. 
Comme seules les différences d'AIC sont significatives, la constante ''C'' peut être ignorée, et on peut donc utiliser <math>\chi^2 + 2k</math> pour la comparaison de modèles.

Une autre forme pratique apparaît si les {{math|σ{{ind|''i''}}}} sont supposés identiques et si l'on dispose de la somme des carrés des résidus (''{{lang|en|residual sum of squares}}'', notée RSS). Dans ce cas, on obtient <math>AIC = n \ln(RSS/n) + 2k + C</math>, où à nouveau la constante ''C'' peut être ignorée pour la comparaison de modèles<ref>{{Harvnb|Burnham|Anderson|2002|pp=12, 63}}</ref>.

=== Modèles linéaires généralisés ===

Lorsque tous les modèles candidats sont des modèles linéaires généralisés (ou [[modèle linéaire généralisé|GLM]]), une approche possible pour sélectionner le modèle est de choisir celui qui maximise la vraisemblance <math>L(\beta;\mu)</math>. Celle-ci peut être facilement estimée et le modèle ayant la plus grande vraisemblance sera celui qui a le plus petit AIC<ref>{{Harvnb|Wood|2006|loc=&sect;2.1.4}}</ref>.

== Comparaison au BIC ==
Il existe de nombreux critères d'informations inspirés du critère d'Akaike. Parmi ceux-ci, le [[critère d'information bayésien]] est l'un des plus populaires. Il se définit comme suit : 
:<math>\mathit{BIC} = -2\ln(L) + \ln(n)k</math>
avec ''n'' le nombre d'observations dans l'échantillon étudié et ''k'' le nombre de paramètres<ref>{{harvsp|Cameron|Trivedi|2005|p=279}}</ref>.

L'AIC pénalise le nombre de paramètres moins fortement que le BIC. Burnham et Anderson (2002, §6.4 et 2004) proposent une comparaison de l'AIC (et de l'AICc) au BIC. Les auteurs montrent que l'AIC et l'AICc peuvent être construits dans le même contexte bayésien que le BIC, mais avec des hypothèses différentes. Burnham et Anderson défendent aussi l'idée que l'AIC et l'AICc possèdent certains avantages théoriques sur le BIC: d'abord parce que l'AIC/AICc est dérivé des principes de la théorie de l'information, au contraire du BIC, ensuite parce que les hypothèses sous-tendant la dérivation du BIC sont discutables, et enfin parce que certaines de leurs simulations suggèrent que l'AICc serait en pratique plus performant que le BIC.

Yang (2005) a également proposé des comparaisons poussées entre AIC et BIC dans le contexte des [[régression (statistiques)|régressions]]. En particulier, l'AIC est asymptotiquement optimal lorsque l'on souhaite sélectionner le modèle avec l'erreur quadratique moyenne (si l'on fait l'hypothèse que le modèle générant les données n'est pas parmi les candidats, ce qui est en fait presque toujours le cas en pratique); ce n'est pas le cas du BIC. Yang montre également que la vitesse de convergence de l'AIC vers l'optimum est, dans un certain sens, la meilleure possible.

== Histoire ==

Hirotugu Akaike a introduit le concept d'AIC pour la première fois en 1973-1974 comme un « critère d'information »<ref name="Akaiki1974">{{Harvnb|Akaike|1974}}</ref>.

Le calcul original de l'AIC reposait sur quelques hypothèses fortes, Takeuchi a montré en 1976 que celles-ci pouvaient être faites plus faibles, cependant le travail de Takeuchi ayant été publié en japonais, il resta peu connu en dehors du Japon pendant plusieurs années.

L'AICc a été proposé pour la seule régression linéaire par Sugiura en 1978 et fut à l'origine des travaux d'Hurvich et Tsai en 1989, puis d'autres articles par les mêmes auteurs, qui cherchaient à étendre le cadre d'application de l'AICc. Le travail d'Hurvich et Tsai amena à la publication de la seconde édition du livre de Brockwell et Davis (1991), qui est considéré comme un ouvrage de référence pour les séries temporelle linéaires. Il est dit dans cette édition: ''{{lang|en|texte=our prime criterion for model selection [among ARMA(p,q) models] will be the AICc}}'' (notre premier critère de sélection des modèles sera l'AICc)<ref name="B D" />.

L'ouvrage de Burnham et Anderson (2002) est la première tentative pour replacer l'approche fondée sur la théorie de l'information dans un contexte général et a largement contribué à diffuser cette approche. Il comprend notamment un exposé des travaux de Takeuchi en anglais.

Akaike a qualifié son approche de « principe de maximisation de l'entropie », celle-ci étant fondée sur le concept d'entropie en théorie de l'information. Burnham et Anderson (2002, ch. 2) discutent cette idée, et la rapprochent des travaux originaux de [[Ludwig Boltzmann]] en [[thermodynamique]]. En quelques mots, minimiser l'AIC pour un modèle statistique serait essentiellement équivalent à maximiser l'entropie d'un [[système thermodynamique]]. Autrement dit, l'approche fondée sur la théorie de l'information correspondrait à l'application du [[deuxième principe de la thermodynamique]].

== Notes et références ==
{{Références}}
{{Traduction/Référence|en|Akaike information criterion|609401024}}

== Bibliographie ==
* {{Chapitre|langue=en|nom1=Akaike|prénom1=Hirotugu|année=1973|titre=Information theory and an extension of the maximum likelihood principle|titre ouvrage=Second International Symposium on Information Theory|pages=267-281}}

* {{Article|langue=en|prénom1=Hirotugu|nom1=Akaike|année=1974 |titre=A new look at the statistical model identification |périodique=IEEE Transactions on Automatic Control |volume=19 |numéro=6 |pages=716-723|doi=10.1109/TAC.1974.1100705}}

* {{Ouvrage|langue=en|prénom1=Peter J.|nom1=Brockwell|prénom2=Richard A.|nom2=Davis|titre=Time Series|sous-titre=Theory and Methods|éditeur=Springer|lieu=New York/Berlin/Paris etc.|année=1991|pages totales=577|isbn=0-387-97429-6}}

* {{Ouvrage|langue=en|prénom1=K. P.|nom1=Burnham|prénom2=D. R.|nom2=Anderson|titre=Model Selection and Multimodel Inference : A Practical Information-Theoretic Approach|éditeur=Springer-Verlag|année=2002|isbn=0-387-95364-7}}

* {{Article|langue=en|nom1=Burnham|prénom1=K. P.|nom2=Anderson|prénom2=D. R. |titre=Multimodel inference: understanding AIC and BIC in Model Selection|journal=Sociological Methods and Research |pages=261–304|lire en ligne = url=http://www.sortie-nd.org/lme/Statistical%20Papers/Burnham_and_Anderson_2004_Multimodel_Inference.pdf|année=2004}}

* {{Ouvrage|langue=en|prénom1=Colin|nom1=Cameron|prénom2=Pravin|nom2=Trivedi|titre=Microeconometrics|sous-titre=Methods And Applications|éditeur=[[Cambridge University Press]]|année=2005|pages totales=1056|isbn=978-0-521-84805-3|lire en ligne=https://books.google.com/books?id=Zf0gCwxC9ocC&printsec=frontcover}}

* {{Ouvrage|langue=en|prénom1=G.|nom1=Claeskens|prénom2=N. L.|nom2=Hjort|titre=Model Selection and Model Averaging|éditeur=Cambridge|année=2008}}.

* {{article|langue=en |nom1=Hurvich |prénom1=C. M. |nom2=Tsai |prénom2=C.-L. |année=1989 |titre=Regression and time series model selection in small samples |journal=[[Biometrika]] |volume=76 |pages=297–307 }}.

* {{article|langue=en |nom1=Sugiura |prénom1=N. |année=1978 |titre=Further analysis of the data by Akaike’s information criterion and the finite corrections |journal=Communications in Statistics - Theory and Methods |volume=A7 |pages=13–26 }}.

* {{Ouvrage|langue=en|prénom1=S. N.|nom1=Wood|titre=Generalized Additive Models|éditeur=[[CRC Press]]|année=2006}}.

* {{article |langue=en |nom1=Yang |prénom1=Y. |année=2005 |titre=Can the strengths of AIC and BIC be shared? |journal=Biometrika |volume=92 |pages=937–950 }}.

== Voir aussi ==
[[Critère d'information bayésien]]
{{Portail|Statistiques}}

{{DEFAULTSORT:Critere d'information d'Akaike}}
[[Catégorie:Théorie de l'information]]
[[Catégorie:Qualité de l'ajustement]]