Voir la source de MMLU

En [[intelligence artificielle]], '''''Measuring Massive Multitask Language Understanding''''' ('''MMLU''') est un test de performance pour évaluer les capacités des [[Grand modèle de langage|grands modèles de langage]].

== Historique ==
MMLU contient environ 16 000 questions à choix multiples portant sur 57 matières académiques, dont les mathématiques, la philosophie, le droit et la médecine. Il s'agit de l'un des benchmarks les plus couramment utilisés pour comparer les capacités des grands modèles linguistiques, avec plus de 100 millions de téléchargements en juillet 2024<ref>{{Article|langue=en|auteur1=Kevin Roose|titre=A.I. Has a Measurement Problem|périodique=The New York Times|date=15 avril 2024|lire en ligne=https://www.nytimes.com/2024/04/15/technology/ai-models-measurement.html}}</ref>{{,}}<ref>{{Lien web |langue=en |titre=Dataset Card for MMLU |url=https://huggingface.co/datasets/cais/mmlu |site=Hugging Face |date=2024-07-08 |consulté le=2024-10-10}}</ref>.

MMLU a été créé par [[Dan Hendrycks]] et une équipe de chercheurs en 2020<ref name=":0">{{Lien web |langue=en |prénom=Dan |nom=Hendrycks |prénom2=Collin |nom2=Burns |auteur3=Steven Basart |auteur4=Andy Zou |auteur5=Mantas Mazeika |auteur6=Jacob Steinhardt |titre=Measuring Massive Multitask Language Understanding |url=https://arxiv.org/abs/2009.03300 |site=arXiv |date=2020-09-07 |arxiv= |consulté le=2024-10-10}}</ref>. Il a été conçu pour être plus exigeant que les autres, tels que GLUE, sur lesquels les nouveaux modèles de langage surpassaient déjà la précision humaine. Au moment de la publication de MMLU, la plupart des modèles de langage existants obtenaient un score proche de celui d'un programme répondant aléatoirement (environ 25 %). Le modèle le plus performant à ce moment-là, [[GPT-3]], atteignait une précision de 43,9 %<ref name=":0" />. Les développeurs de MMLU estiment que les experts humains atteignent une précision d'environ 89,8 % dans leur domaine d'expertise<ref name=":0" />. En 2024, certains des modèles de langage les plus avancés, tels que [[OpenAI o1|o1]], [[Google Gemini|Gemini]] et [[Claude (modèle de langage)|Claude 3]], ont atteint des scores autour de 90 %<ref>{{Lien web |langue=en |titre=Multi-task Language Understanding on MMLU |url=https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu |site=Papers with Code |consulté le=2024-10-10}}</ref>{{,}}<ref name=":1">{{Lien web |langue=en |titre=OpenAI o1 System Card |url=https://openai.com/index/openai-o1-system-card/ |site=OpenAI}}</ref>.

== Exemples ==
Les exemples suivants sont tirés respectivement des tâches « [[Algèbre générale|algèbre abstraite]] » et « [[droit international]] » (et traduites depuis l'anglais). Les bonnes réponses sont indiquées en gras<ref name=":0" /> :<blockquote>Trouver tout <math>c</math> dans <math>\mathbb{Z}_3</math> tel que <math>\mathbb{Z}_3[x]/(x^2 + c)</math> est un champ.

(A) 0 '''(B) 1''' (C) 2 (D) 3</blockquote><blockquote>Une réserve à la définition de la torture dans le [[Pacte international relatif aux droits civils et politiques|PIDCP]] serait-elle acceptable dans la pratique contemporaine ?

(A) Il s'agit d'une réserve acceptable si la législation du pays qui formule la réserve utilise une définition différente.

'''(B) Il s’agit d’une réserve inacceptable car elle contrevient à l’objet et au but du PIDCP.'''

(C) Il s’agit d’une réserve inacceptable car la définition de la torture dans le PIDCP est conforme au droit international coutumier.

(D) Il s’agit d’une réserve acceptable car, en vertu du droit international général, les États ont le droit d’émettre des réserves aux traités.</blockquote>

== Classement ==
{| class="wikitable sortable"
|+
! Organisation
! Grand modèle de langage
! MMLU
|-
| OpenAI
| [[OpenAI o1|o1]]
| 90,8<ref name=":1" />
|-
| L'IA de Rubik
| [https://rubiks.ai/nova/release/ Nova-Pro]
| 88,8
|-
| Anthropique
| [https://www.anthropic.com/news/claude-3-5-sonnet Claude 3.5 Sonnet]
| 88,7
|-
| Méta
| [https://llama.meta.com/ Lama-3.1 405B]
| 88,6
|-
| xAI
| [https://x.ai/blog/grok-2 Grok-2]
| 87,5
|-
| Anthropique
| [https://www.anthropic.com/news/claude-3-family Claude 3 Opus]
| 86,8
|-
| Méta
| [https://llama.meta.com/ Lama-3.1 70B]
| 86,0
|-
| Google
| [https://deepmind.google/technologies/gemini/pro/ Gemini-1.5 Pro]
| 85,9
|-
| Inflexion
| [https://inflection.ai/inflection-2-5 Inflexion-2.5]
| 85,5
|-
| Mistral
| [https://mistral.ai/news/mistral-large-2407/ Mistral Large 2]
| 84,0
|-
| Reka
| [https://www.reka.ai/news/reka-core-our-frontier-class-multimodal-language-model Noyau Reka]
| 83,2
|-
| AI21
| [https://www.ai21.com/jamba Jamba-1.5 Grand]
| 81,2
|}

== Références ==
{{Traduction/Référence|lang1=en|art1=MMLU|id1=1250365242}}
{{Références}}

{{Portail|intelligence artificielle}}
[[Catégorie:Grand modèle de langage]]