Voir la source de F-mesure

{{confusion|Test F}}
La '''F-mesure''' ou le '''F-score''', souvent notée <math>F_1</math> ou <math>F_\beta</math>, est une mesure de la performance d'un modèle de [[Classement automatique|classification]] en [[intelligence artificielle]] et [[statistique]]. Elle combine les mesures de [[précision et rappel]], elles-mêmes basées sur les taux de [[vrais positifs]], [[faux positifs]] et [[faux négatifs]]. L'idée de la F-mesure est de s'assurer qu'un classificateur fait de bonnes prédictions de la classe pertinente (bonne précision) en suffisamment grand nombre (bon rappel) sur un [[jeu de données]] cible. Tout comme la précision et le rappel, la F-mesure varie de 0 (plus mauvaise valeur) à 1 (meilleure valeur possible).

== Définition ==

=== Classification binaire ===
[[Fichier:Précision et rappel.svg|vignette|redresse=1.4|alt=Schéma illustrant les concepts de précision et rappel dans un cas simple.|Illustration de la précision et du rappel dans le cadre binaire.]]
Dans le cadre de la classification binaire, la F-mesure, notée ici <math>F_1</math>, est la [[moyenne harmonique]] de la précision et du rappel<ref>{{Ouvrage|langue=fr|prénom1=Eric|nom1=Biernat|prénom2=Michel|nom2=Lutz|titre=Data science : fondamentaux et études de cas: Machine learning avec Python et R|éditeur=Eyrolles|date=2015|isbn=978-2-212-14243-3|lire en ligne=https://books.google.com/books?id=Gfi4CgAAQBAJ&newbks=0&hl=fr|consulté le=2023-08-26|passage=164}}</ref> :

:<math>F_1 = 2 \cdot \frac{ (\text{précision} \cdot \text{rappel})}{(\text{précision} + \text{rappel})} \in [0,1]</math>.

Avec, pour rappel :
* <math>\text{précision}= VP / (VP + FP)</math>
* <math>rappel = VP / (VP + FN)</math>

Pour obtenir <math>F_1</math>, il faut donc calculer les taux de vrais positifs (VP), de faux positifs (FP) et de faux négatifs (FN) du modèle sur un jeu de données, la formule se simplifiant comme suit :

:<math>F_1 = 2 \cdot \frac{ (\text{précision} \cdot \text{rappel})}{(\text{précision} + \text{rappel})} = \frac{2\mathrm{VP}}{2\mathrm{VP} + \mathrm{FP} + \mathrm{FN}} 
</math>.

En cas de [[division par zéro]], on notera <math>F_1 = 0</math>.

Dans la définition de <math>F_1</math>, la précision et le rappel ont le même poids, ce qui reste le cas d'usage le plus fréquent<ref name="Branco" />. Cependant, il est possible de privilégier l'un sur l'autre, en généralisant à <math>F_\beta</math><ref name="Parambath" /> :
:<math>F_\beta = \frac{(1 + \beta^2) \cdot (\text{précision} \cdot \text{rappel})}{(\beta^2 \cdot \text{précision} + \text{rappel})}, \beta > 0</math>

Ainsi, on notera par exemple <math>F_2</math> la F-mesure avec <math>\beta = 2</math> qui donne plus d'importance au rappel, et <math>F_{0.5}</math> la F-mesure avec <math>\beta = 0.5</math> qui donne plus d'importance à la précision (idem avec toute autre valeur de ''beta'').

=== Classification en classes multiples ===

Dans le cas où les prédictions du classificateur ne sont plus binaires (dit [[Classification en classes multiples|multi-classes]]), la F-mesure se calcule en faisant la moyenne des <math>F_1</math> (ou <math>F_\beta</math>) pour chaque classe. Cette moyenne peut se faire de différentes façons, typiquement<ref name="Parambath">{{Article|prénom1=Shameem|nom1=Puthiya Parambath|prénom2=Nicolas|nom2=Usunier|prénom3=Yves|nom3=Grandvalet|titre=Optimizing F-Measures by Cost-Sensitive Classification|périodique=Advances in Neural Information Processing Systems|volume=27|éditeur=Curran Associates, Inc.|date=2014|lire en ligne=https://proceedings.neurips.cc/paper/2014/hash/678a1491514b7f1006d605e9161946b1-Abstract.html|consulté le=2023-08-26}}</ref> :
* l'approche « micro » où les taux de VP, FP et FN de chaque classe sont simplement additionnés pour calculer le F-score ;
* l'approche « macro » où le F-score est la [[moyenne arithmétique]] des F-score de chaque classe.

=== Exemple ===

Dans le cadre d'une recherche documentaire où 20 documents sur 100 seraient pertinents : 
* un classificateur qui trouverait correctement les 20 documents pertinents aurait une précision et un rappel de 1, donc <math>F_1 = 1</math>
* un classificateur qui trouverait 30 documents, dont 15 pertinents, aurait une précision de 15 / 30 = 0.5 et un rappel de 15 / 20 = 0.75, donc <math>F_1 = 0.6</math>
* un classificateur qui trouverait 80 documents, dont 15 pertinents, aurait une précision de 15 / 80 = 0.1875 et un rappel de 15 / 20 = 0.75, donc <math>F_1 = 0.2727</math>

== Utilisation ==

La F-mesure a été basée sur les recherches de [[C. J. van Rijsbergen]] publiées en 1979 pour mesurer la pertinence de documents retournées par une requête en [[recherche d'information]]<ref>{{Article|prénom1=C.J.|nom1=VAN RIJSBERGEN|titre=A theoretical basis for the use of co‐occurrence data in information retrieval|périodique=Journal of Documentation|volume=33|numéro=2|date=1977-01-01|issn=0022-0418|doi=10.1108/eb026637|lire en ligne=https://doi.org/10.1108/eb026637|consulté le=2023-08-26|pages=106–119}}</ref>. Elle est depuis très largement employée pour évaluer et comparer les performances de plusieurs [[Classement automatique|classificateurs]] sur un même jeu de données, en permettant de s'assurer que les classificateurs ont des performances raisonnables aussi bien en termes de précision que de rappel, sans sacrifier l'une ou l'autre<ref name="Parambath" />. La F-mesure est appropriée même sur des données déséquilibrées où une classe est plus fréquente que l'autre, ce qui la rend plus utile dans ces cas que le taux de bonnes prédictions (''accuracy'')<ref name="Parambath" />. 

La F-mesure peut aussi servir de mesure d'utilité pour l'apprentissage de classificateur, où le but est de maximiser la F-mesure sur un jeu de données<ref name="Dembczynski" />{{,}}<ref name="Decubber" />{{,}}<ref name="Lipton" />.

== Limitations ==

La F-mesure ne peut pas directement être utilisée pour comparer des classificateurs entraînées sur des jeux de données différents où la répartition des classes diffèrent, car elle dépend de la distribution des classes<ref>{{Article|langue=en|prénom1=Jan|nom1=Brabec|prénom2=Tomáš|nom2=Komárek|prénom3=Vojtěch|nom3=Franc|prénom4=Lukáš|nom4=Machlica|titre=On Model Evaluation Under Non-constant Class Imbalance|périodique=Computational Science – ICCS 2020|série=Lecture Notes in Computer Science|éditeur=Springer International Publishing|date=2020|isbn=978-3-030-50423-6|pmcid=PMC7303692|doi=10.1007/978-3-030-50423-6_6|lire en ligne=https://link.springer.com/chapter/10.1007/978-3-030-50423-6_6|consulté le=2023-08-26|pages=74–87}}</ref>. 

Elle suppose, dans le cas binaire, qu'une des deux classes soit la plus désirable pour être la cible du calcul des taux de VP et FN<ref name="Branco">{{Article|prénom1=Paula|nom1=Branco|prénom2=Luís|nom2=Torgo|prénom3=Rita P.|nom3=Ribeiro|titre=A Survey of Predictive Modeling on Imbalanced Domains|périodique=ACM Computing Surveys|volume=49|numéro=2|date=2016-08-13|issn=0360-0300|doi=10.1145/2907070|lire en ligne=https://doi.org/10.1145/2907070|consulté le=2023-08-26|pages=31:1–31:50}}</ref>. Plus important, elle ne tient pas compte du taux de [[vrais négatifs]] (car ni la précision, ni le rappel ne l'utilise), ce qui rend la F-mesure inadaptée aux problèmes de classification où les vrais négatifs seraient importants (par exemple le diagnostic médical)<ref name="Lipton">{{Chapitre|prénom1=Zachary C.|nom1=Lipton|prénom2=Charles|nom2=Elkan|prénom3=Balakrishnan|nom3=Naryanaswamy|titre chapitre=Optimal Thresholding of Classifiers to Maximize F1 Measure|titre ouvrage=Machine Learning and Knowledge Discovery in Databases|éditeur=Springer Berlin Heidelberg|date=2014|isbn=978-3-662-44850-2|lire en ligne=http://dx.doi.org/10.1007/978-3-662-44851-9_15|consulté le=2023-08-26|passage=225–239}}</ref>.

Le choix de combiner la précision et le rappel réduit l'interprétabilité de la mesure, car précision et rappel portent sur des aspects différents de la performance et la F-mesure peut rendre plus difficile d'identifier les causes d'un manque de performance<ref name="Hand">{{Article|langue=en|prénom1=David J.|nom1=Hand|prénom2=Peter|nom2=Christen|prénom3=Nishadi|nom3=Kirielle|titre=F*: an interpretable transformation of the F-measure|périodique=Machine Learning|volume=110|numéro=3|date=2021-03-01|issn=1573-0565|pmid=33746357|pmcid=PMC7958589|doi=10.1007/s10994-021-05964-1|lire en ligne=https://doi.org/10.1007/s10994-021-05964-1|consulté le=2023-08-26|pages=451–456}}</ref>. Notamment, différentes paires de précisions et rappels peuvent donner le même F-score. De plus, le choix de faire la moyenne harmonique entre la précision et le rappel est une approche conservatrice à laquelle pourrait se substituer la moyenne arithmétique<ref name="Hand" />.

Quand elle est utilisée pour optimiser un classificateur en phase d'apprentissage, la F-mesure pose difficulté car il n'existe pas d'[[expression de forme fermée]] permettant un calcul direct, et il faut donc recourir à des algorithmes d'optimisation en temps polynomiaux (<math>O(n^2)</math> avec ''n'' le nombre de prédictions)<ref name="Dembczynski">{{Article|langue=en|prénom1=Krzysztof|nom1=Dembczynski|prénom2=Arkadiusz|nom2=Jachnik|prénom3=Wojciech|nom3=Kotlowski|prénom4=Willem|nom4=Waegeman|titre=Optimizing the F-Measure in Multi-Label Classification: Plug-in Rule Approach versus Structured Loss Minimization|périodique=Proceedings of the 30th International Conference on Machine Learning|éditeur=PMLR|date=2013-05-26|lire en ligne=https://proceedings.mlr.press/v28/dembczynski13.html|consulté le=2023-08-26|pages=1130–1138}}</ref>{{,}}<ref name="Decubber">{{Article|langue=en|prénom1=Stijn|nom1=Decubber|prénom2=Thomas|nom2=Mortier|prénom3=Krzysztof|nom3=Dembczyński|prénom4=Willem|nom4=Waegeman|titre=Deep F-Measure Maximization in Multi-label Classification: A Comparative Study|périodique=Machine Learning and Knowledge Discovery in Databases|série=Lecture Notes in Computer Science|éditeur=Springer International Publishing|date=2019|isbn=978-3-030-10925-7|doi=10.1007/978-3-030-10925-7_18|lire en ligne=https://link.springer.com/chapter/10.1007/978-3-030-10925-7_18|consulté le=2023-08-26|pages=290–305}}</ref>.

== Implantation ==

La F-mesure est implantée dans plusieurs librairies d'apprentissage automatique et de statistiques pouvant construire des classificateurs, comme [[Scikit-learn]]<ref>{{Lien web |langue=en |titre=sklearn.metrics.fbeta_score |url=https://scikit-learn/stable/modules/generated/sklearn.metrics.fbeta_score.html |site=scikit-learn |consulté le=2023-08-26}}</ref>, [[TensorFlow]]<ref>{{Lien web |langue=en |titre=tf.keras.metrics.FBetaScore {{!}} TensorFlow v2.13.0 |url=https://www.tensorflow.org/api_docs/python/tf/keras/metrics/FBetaScore |site=TensorFlow |consulté le=2023-08-26}}</ref>, [[PyTorch]]<ref>{{Lien web |titre=F-1 Score — PyTorch-Metrics 1.1.0 documentation |url=https://torchmetrics.readthedocs.io/en/stable/classification/f1_score.html |site=torchmetrics.readthedocs.io |consulté le=2023-08-26}}</ref>, [[R (langage)|R]]<ref>{{Lien web |langue=en |titre=confusionMatrix: Create a confusion matrix in caret: Classification and Regression Training |url=https://rdrr.io/cran/caret/man/confusionMatrix.html |site=rdrr.io |consulté le=2023-08-26}}</ref>.

== Articles connexes ==
* [[Sensibilité et spécificité]]
* [[Exactitude et précision]]
* [[Matrice de confusion]]

== Références ==
{{références}}
{{Palette|Apprentissage automatique}}
{{Portail|sciences de l'information et des bibliothèques|informatique|Probabilités et statistiques}}

[[Catégorie:Recherche d'information]]
[[Catégorie:Apprentissage automatique]]