Voir la source de Grand modèle de langage

{{Infobox Méthode scientifique}}

Un '''grand modèle de langage'''<ref name="GDT">{{GDT|grand modèle de langage|fiche=26570880|consulté le=2023-09-07}}.</ref>, '''grand modèle linguistique'''<ref>{{mul|fr|en}} [https://journals.sagepub.com/doi/full/10.1177/08465371231171125 Accuracy of Information and References Using ChatGPT-3 for Retrieval of Clinical Radiological Information], journal de l'association canadienne de radiologistes.</ref>, '''grand modèle de langue'''<ref name="GDT"/>{{,}}<ref>{{lien web |auteur=Christian Wolf |titre=Histoire des réseaux de neurones et du deep learning en traitement des signaux et des images |url=https://hal.science/hal-04058482/ |site=hal.science |date=04-04-2023 |consulté le=11-05-2023}}.</ref>, '''modèle de langage de grande taille'''<ref name="GDT"/> ou encore '''modèle massif de langage'''<ref>{{harvsp| id=PourLaScienceOrnes2023| texte=Ornes (2023, traduction française)}}.</ref> (abrégé '''LLM'''<ref name="GDT"/> de l'anglais ''{{lang|en|large language model}}'') est un [[modèle de langage]] possédant un grand nombre de paramètres (généralement de l'ordre d'un milliard ou plus).

Ce sont des [[Apprentissage profond|réseaux de neurones profonds]] entraînés sur de grandes quantités de texte non étiqueté utilisant l'[[apprentissage auto-supervisé]] ou l'[[apprentissage semi-supervisé]]<ref>{{Lien web |langue=en-US |prénom=Shraddha |nom=Goled |titre=Self-Supervised Learning Vs Semi-Supervised Learning: How They Differ |url=https://analyticsindiamag.com/self-supervised-learning-vs-semi-supervised-learning-how-they-differ/ |site=Analytics India Magazine |date=2021-05-07 |consulté le=2023-06-01}}</ref>. Les LLM sont apparus vers 2018 et ont été utilisés pour la mise en œuvre d'[[chatbot|agents conversationnels]].

Ils excellent dans un large éventail de tâches. Au lieu d'être entraînés pour une tâche spécifique (comme l'[[Analyse de sentiments|analyse des sentiments]], la [[reconnaissance d'entités nommées]] ou le raisonnement mathématique), ils sont entraînés à prédire une suite probable pour une entrée donnée<ref>{{Article|langue=en|prénom1=Jason|nom1=Wei|prénom2=Yi|nom2=Tay|prénom3=Rishi|nom3=Bommasani|prénom4=Colin|nom4=Raffel|titre=Emergent Abilities of Large Language Models|périodique=Transactions on Machine Learning Research|date=2022-08-31|issn=2835-8856|lire en ligne=https://openreview.net/forum?id=yzkSU5zdwD|consulté le=2023-06-01}}</ref>. La qualité du contenu généré semble augmenter régulièrement avec le nombre de paramètres, la taille et la [[Qualité des données|qualité]] des données d'entraînement, ainsi que la quantité de calculs utilisée pour entraîner le modèle<ref name="Bowman">{{Lien web| langue=en| nom1=Bowman| prénom1=Samuel R.| titre=Eight Things to Know about Large Language Models| périodique=Proceedings of the International Conference on Machine Learning 2023 (conférence)| date=2 avril 2023| url=https://cims.nyu.edu/~sbowman/eightthings.pdf| format=pdf}}.</ref>.

Les modèles de langage possédant un grand nombre de paramètres s'avèrent capables de capturer une grande partie de la syntaxe et de la sémantique du langage humain. Cela permet de retraduire une connaissance générale sur le monde conséquente, avec « mémorisation » d'une grande quantité de faits lors de l'entraînement.

Avant le succès des grands modèles de langage, l'attention des chercheurs en [[traitement automatique des langues]] était principalement focalisée sur l'[[apprentissage supervisé]] de modèles spécialisés pour des tâches spécifiques.

== Architecture ==
Un modèle de langage reçoit typiquement en entrée des données séquentielles de longueur variable. Pendant longtemps, l'architecture utilisée préférentiellement pour ce genre de données était celle dite de [[réseaux de neurones récurrents]]. Cette architecture présentait comme inconvénient majeur de mal se prêter à la [[parallélisme (informatique)|parallélisation]] des calculs nécessaires à l'entrainement.

En 2017, un article très influent<ref>{{en}} [https://arxiv.org/abs/1706.03762 ''Attention is all you need'']</ref> suggéra qu'une architecture non-récurrente, le [[transformeur]], basée sur un [[Attention (apprentissage automatique)|mécanisme d'attention]], peut avec succès traiter des données séquentielles tout en étant parallélisable lors de l'entrainement.

C'est l'avènement de cette architecture, et surtout les gains en performance qu'elle procure, qui ont permis aux chercheurs d'augmenter considérablement le nombre de paramètres de leurs modèles, d'où le qualificatif « grand » les concernant. La plupart des grands modèles de langage utilisent donc cette architecture, même si la recherche se poursuit pour trouver des architectures encore plus performantes<ref>{{en}} [https://arxiv.org/abs/2305.13048 ''RWKV: Reinventing RNNs for the Transformer Era'']</ref>{{,}}<ref>{{en}} [https://arxiv.org/abs/2307.08621 Retentive Network: A Successor to Transformer for Large Language Models'']</ref>{{,}}<ref>{{en}} [https://arxiv.org/abs/2310.05869 HyperAttention: Long-context Attention in Near-Linear Time]</ref>{{,}}<ref>{{en}} [https://arxiv.org/abs/2312.00752 Mamba: Linear-Time Sequence Modeling with Selective State Spaces]</ref>.

=== Analyse lexicale ===

Les LLM sont des fonctions mathématiques dont l'entrée et la sortie sont des listes de nombres. Pour que ceux-ci fonctionnent avec des mots une conversion est nécessaire.

Cette conversion est ce qu'on appelle l'[[analyse lexicale]]. L'analyseur lexical est une [[Bijection|fonction bijective]] qui établit une correspondance entre des textes et des listes d'[[Entier relatif|entiers]]. Il est généralement d'abord adapté à l'ensemble de données d'entraînement complet, puis ''gelé'', avant que le modèle de langage ne soit entraîné. Un choix courant est le codage par paires d'octets.

Une autre fonction des analyseurs lexicaux est la [[Compression de données|compression de texte]], qui épargne du temps de [[Technologie informatique|calcul]]. Des mots ou expressions courants tels que « où est » peuvent être encodés dans une seule [[Analyse lexicale#Unité lexicale|unité lexicale]] (ou jeton), au lieu d'être encodés dans {{nobr|7 caractères}}. La série OpenAI GPT utilise un analyseur lexical où une unité lexicale correspond à environ {{nobr|4 caractères}}, soit environ {{nobr|0,75 mots}} dans un texte anglais courant<ref>{{Lien web |langue=en |titre=OpenAI API |url=https://platform.openai.com/ |série=platform.openai.com |consulté le=2023-04-30 |archive-url=https://web.archive.org/web/20230423211308/https://platform.openai.com/tokenizer |archive-date=April 23, 2023}}.</ref>. Un texte anglais peu courant est moins prévisible, donc moins compressible, nécessitant ainsi plus de jetons pour être encodé.

Un analyseur lexical convertit une suite de caractères en un nombre entier dans la plage <math>\{0, 1, 2, ..., V-1\}</math>, où <math>V</math> est appelé la taille de vocabulaire.

Certains sont capables de gérer des textes arbitraires en opérant généralement directement sur [[Unicode]], mais d'autres non. Lorsqu'il rencontre du texte non encodable, un analyseur lexical génère une unité lexicale spéciale (par exemple 0) qui représente un « texte inconnu ». Ceci est souvent écrit comme [UNK], comme dans l'article du modèle [[BERT (modèle de langage)|BERT]].

Une autre unité lexicale spéciale couramment utilisée est [PAD] (souvent 1), pour « ''padding'' ». Ceci est utilisé car les LLM sont généralement utilisés sur différents lots de texte à la fois, et ces textes ne sont pas codés à la même longueur. Étant donné que les LLM exigent généralement que l'entrée soit un tableau de taille fixe, les textes les plus courts doivent être complétés.

=== Sortie ===
La sortie d'un LLM est un vecteur <math>y\in \R^V</math>où <math>V</math> est la taille du [[lexique]] produit lors de l'analyse lexicale. Le vecteur <math>y</math> est ensuite passé par une [[fonction softmax]] pour obtenir <math>\mathrm{softmax}(y)</math> ;
* le vecteur <math>y</math> est généralement appelé le vecteur [[logit]] non normalisé ;
* le vecteur <math>\mathrm{softmax}(y)</math> est appelé le vecteur de probabilité.

Puisque le vecteur <math>\mathrm{softmax}(y)</math> a <math>V</math> entrées, toutes non négatives, et dont la somme est égale à 1, on peut l'interpréter comme une distribution de probabilité sur le vocabulaire du LLM (indexé par <math>\{0, 1, 2, ... , V-1\}</math>).

== Pré-entraînement ==
La plupart des LLM sont entraînés par pré-entraînement génératif, c'est-à-dire qu'étant donné un ensemble de données d'entraînement de jetons de texte, le modèle prédit les jetons dans l'ensemble de données. Il existe deux styles généraux de pré-entrainement pour la génération<ref>{{Article|auteur1=Zaib|prénom1=Munazza|auteur2=Sheng|prénom2=Quan Z.|auteur3=Emma Zhang|prénom3=Wei|titre=A Short Survey of Pre-trained Language Models for Conversational AI-A New Age in NLP|périodique=Proceedings of the Australasian Computer Science Week Multiconference|date=4 February 2020|isbn=9781450376976|doi=10.1145/3373017.3373028|arxiv=2104.10810|lire en ligne=https://www.researchgate.net/publication/338931711|pages=1–4|s2cid=211040895}}</ref> :

* autorégressif (style [[Transformeur génératif pré-entraîné|GPT]], « prédire le mot suivant ») : étant donné un segment de texte comme « J'aime manger », le modèle prédit les jetons suivants, comme « crème glacée ».
* masqué (« style BERT », « [[Texte à trous|test de cloze]] ») : étant donné un segment de texte comme « J'aime [MASQUE] [MASQUE] glacée », le modèle prédit les jetons masqués, comme « manger de la crème ».

Les LLM peuvent être entraînés sur des tâches auxiliaires qui testent leur compréhension de la distribution des données, telles que la prédiction de la phrase suivante (NSP), dans laquelle des paires de phrases sont présentées et le modèle doit prédire si elles apparaissent consécutivement dans le corpus d'entraînement.

Habituellement, les LLM sont entraînés pour minimiser une fonction de perte spécifique : la [[log-vraisemblance]] négative moyenne par jeton (également appelée perte d'[[entropie croisée]]).{{Référence nécessaire|date=May 2023}} Par exemple. si un modèle autorégressif, étant donné « j'aime manger », prédit une distribution de probabilité <math>Pr( \cdot | \text{I like to eat})</math> alors la perte de vraisemblance logarithmique négative sur ce jeton est <math>-\log Pr( \text{ice} | \text{I like to eat}) </math> .

Pendant l'entraînement, la perte de [[Régularisation (mathématiques)|régularisation]] est également utilisée pour stabiliser l'entraînement. Cependant, la perte de régularisation n'est généralement pas utilisée pendant les [[Jeux d'entrainement, de validation et de test|tests]] et l'évaluation. Il y a aussi beaucoup plus de critères d'évaluation que la simple vraisemblance logarithmique négative. Voir la section ci-dessous pour plus de détails.

=== Taille de l'ensemble de données ===
Les premiers LLM ont été entraînés sur des [[corpus]] contenant de l'ordre de milliards de mots.

[[OpenAI|GPT-1]], le premier modèle de la série de [[Transformeur génératif pré-entraîné|transformeurs génératifs pré-entraînés]] d'[[OpenAI]], a été entrainé en 2018 sur BookCorpus, composé de 985 millions de mots<ref>{{Article|auteur1=Zhu|prénom1=Yukun|auteur2=Kiros|prénom2=Ryan|auteur3=Zemel|prénom3=Rich|auteur4=Salakhutdinov|prénom4=Ruslan|titre=Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books|périodique=2015 IEEE International Conference on Computer Vision (ICCV)|date=December 2015|isbn=978-1-4673-8391-2|doi=10.1109/ICCV.2015.11|arxiv=1506.06724|lire en ligne=https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Zhu_Aligning_Books_and_ICCV_2015_paper.pdf|consulté le=11 avril 2023|pages=19–27|s2cid=6866988}}</ref>. La même année, [[BERT (modèle de langage)|BERT]] a été entraîné sur une combinaison de BookCorpus et de Wikipedia anglais, totalisant 3,3 milliards de mots. Depuis lors, les corpus d'entraînement pour les LLM ont augmenté de plusieurs ordres de grandeur, atteignant jusqu'à des billions de jetons.

=== Coût ===
Les LLM sont coûteux à entraîner en termes de calcul. Une étude de 2020 a estimé le coût de l'entraînement d'un modèle de 1,5 milliard de paramètres (2 ordres de grandeur inférieurs à l'état de l'art à l'époque) à 1,6 million de dollars. Les progrès logiciels et matériels ont considérablement réduit les coûts, avec un article de 2023 faisant état d'un coût de {{nombre|72300|heures}} [[Ampere (microarchitecture)|A100-GPU]] pour entraîner un modèle de 12 milliards de paramètres. La taille des modèles a cependant aussi augmenté{{Référence souhaitée|date=mai 2024}}.

Pour le LLM basé sur l'architecture transformer, il en coûte 6 FLOP par paramètre pour s'entraîner sur un jeton. Ce coût d'entraînement est beaucoup plus élevé que le coût d'inférence, qui est de 1 à 2 FLOP par paramètre pour inférer sur un jeton{{Référence nécessaire|date=mai 2024}}.

== Réglage après entraînement ==
Le [[réglage fin]] (''fine-tuning''), ou ajustement, est la pratique consistant à modifier un modèle de langage pré-entraîné existant en l'entraînant (souvent de manière supervisée) sur une tâche spécifique (par exemple, l'[[Opinion mining|analyse des sentiments]], la [[reconnaissance d'entités nommées]] ou le [[Étiquetage morpho-syntaxique|marquage d'une partie du discours]]). C'est une forme d'[[apprentissage par transfert]] qui permet de spécialiser le LLM.

Le réglage fin peut se faire de différentes façons, notamment<ref>{{Lien web |auteur=Ayush Mittal |titre=Un guide complet pour affiner les grands modèles de langage |url=https://www.unite.ai/fr/un-guide-complet-pour-affiner-les-grands-mod%C3%A8les-de-langage/ |site=Unite.AI |date=25 mars 2024 |consulté le=2024-05-04}}</ref> :

* En re-entraînant tous les paramètres du modèle, mais sans trop les modifier pour ne pas écraser les connaissances acquises lors du pré-entraînement. Cette méthode est efficace mais nécessite relativement beaucoup de temps de calcul.
* En entraînant seulement une partie des paramètres (souvent une partie des couches). Les autres paramètres sont dits « gelés ».
* En ajoutant une ou plusieurs couches à la fin du modèles, avec de nouveaux paramètres.
* En ajoutant un « adaptateur », contenant ses propres paramètres. Ces méthodes ([[LoRA]] notamment) ajoutent souvent peu de paramètres à entraîner, nécessitant ainsi moins de ressources informatiques.
* En ajoutant automatiquement une série de [[Analyse lexicale|tokens]] au début du [[Ingénierie de prompt|prompt]], optimisés automatiquement pour fournir le bon résultat (''prompt tuning''). Dans ce cas, le modèle lui-même est entièrement gelé et aucun de ses paramètres n'est entraîné, seul le prompt est ajusté. Lors de l'inférence, ces tokens seront également ajoutés automatiquement au début du prompt sans que l'utilisateur ne les voie. De façon similaire, cela peut aussi se faire en injectant des vecteurs plutôt que des tokens (''prefix tuning'').

=== Réglage par instructions ===
Le réglage par instructions (''instruction fine-tuning'' en anglais) est une forme d'apprentissage supervisé visant à ce que le LLM réponde d'une certaine façon, par exemple en adoptant le rôle d'assistant. Étant donné un prompt en entrée, un modèle de langage pré-entraîné générera une complétion qui correspond à la distribution du texte sur laquelle il a été entraîné. En réponse au prompt « Écrire un essai sur les principaux thèmes de ''Hamlet''. », un modèle de langage pré-entraîné pourrait produire : « Une pénalité de retard de 10 % par jour sera appliquée aux soumissions reçues après le 17 mars ». Dans le réglage par instructions, le modèle de langage est entraîné sur de nombreux exemples de tâches formulées sous forme d'instructions en [[langage naturel]], ainsi que des réponses appropriées. Les instructions et les réponses correspondantes attendues peuvent être soit écrites par des humains, soit générées automatiquement, par exemple avec la méthode ''self-instruct<ref>{{Article|langue=en|titre=Self-Instruct: Aligning Language Models with Self-Generated Instructions|périodique=ACL|date=2023|arxiv=2212.10560|lire en ligne=https://arxiv.org/abs/2212.10560}}</ref>''.

=== Apprentissage par renforcement ===
Les grands modèles de langage suivent souvent une phase supplémentaire de réglage fin exploitant l'[[apprentissage par renforcement]], afin de les rendre utiles et inoffensifs et de réduire les hallucinations.

Une méthode populaire est celle de l'[[apprentissage par renforcement à partir de rétroaction humaine]] (''reinforcement learning from human feedback'', ou RLHF en anglais). Avec cette méthode, différentes réponses sont d'abord générées par un modèle d'IA. Ensuite, des humains annotent les réponses qui leur semblent être les meilleures. Avec ces données sur quelles réponses sont plus ou moins bonnes, un « modèle de préférences » est entraîné à prédire quelles réponses satisferaient les annotateurs humain. Les réponses fausses, agressives ou inutiles sont ainsi le plus souvent évaluées comme étant mauvaises. D'autres modèles peuvent ensuite être entraînés par apprentissage par renforcement à satisfaire ce modèle de préférences<ref>{{Article|auteur1=Alex McFarland|titre=Qu'est-ce que l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF)|périodique=Unite.AI|date=29 mars 2023|lire en ligne=https://www.unite.ai/fr/qu%27est-ce-que-l%27apprentissage-par-renforcement-%C3%A0-partir-de-la-r%C3%A9troaction-humaine-rlhf/}}</ref>.

La méthode de l'[[IA constitutionnelle]], conçue par l'entreprise [[Anthropic]], comporte une étape d'apprentissage par renforcement (en plus de celle de réglage par instructions). Le but est là aussi de générer un modèle de préférences permettant ensuite d'entraîner d'autres modèles. La différence est que les données servant à entraîner ce modèle de préférences ne sont pas annotées manuellement par des humains. Ces données sont générées automatiquement par une IA en évaluant quelles réponses satisfont le mieux une constitution donnée, qui est une liste de principes de conduite<ref>{{Lien web |langue=en |titre=What to Know About Claude 2, Anthropic's Rival to ChatGPT |url=https://time.com/6295523/claude-2-anthropic-chatgpt/ |site=Time |date=2023-07-18 |consulté le=2024-05-05}}</ref>.

== Propriétés ==

=== Ensembles de données de pré-entraînement ===
Les LLM sont pré-entraînés sur de grands ensembles de données textuelles comme ''Common Crawl''<ref>{{en}} [https://commoncrawl.org/ common crawl], site officiel]</ref>, ''The Pile''<ref>{{en}} [https://pile.eleuther.ai/ the Pile], site officiel</ref>, MassiveText<ref>{{Lien web |langue=en |titre=Papers with Code - MassiveText Dataset |url=https://paperswithcode.com/dataset/massivetext |série=paperswithcode.com |consulté le=2023-04-26}}.</ref>, [[Wikipédia|Wikipedia]] ou [[GitHub]]. Ces ensembles de données contiennent jusqu'à {{nombre|10000 milliards}} de mots.

Le stock de données linguistiques de haute qualité se situe entre 4,6 et {{nobr|17 milliards}} de mots, soit un ordre de grandeur similaire à celui des plus grands ensembles de données textuelles disponibles<ref>{{Article|auteur1=Villalobos|prénom1=Pablo|auteur2=Sevilla|prénom2=Jaime|auteur3=Heim|prénom3=Lennart|auteur4=Besiroglu|prénom4=Tamay|titre=Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning|périodique=arXiv:2211.04325 [cs]|date=2022-10-25|lire en ligne=http://arxiv.org/abs/2211.04325}}.</ref>.

=== Lois d'échelle ===
En général, les performances d'un [[Réseau de neurones artificiels|réseau de neurones]] augmentent régulièrement avec<ref name=":1">{{Lien web |langue=en |titre=Scaling Laws |url=https://www.alignmentforum.org/tag/scaling-laws |site=AI Alignment Forum |date=2022-07-31 |consulté le=2024-11-15}}</ref>{{,}}<ref name=":2">{{Article|langue=en|prénom1=Yasaman|nom1=Bahri|prénom2=Ethan|nom2=Dyer|prénom3=Jared|nom3=Kaplan|prénom4=Jaehoon|nom4=Lee|titre=Explaining neural scaling laws|périodique=Proceedings of the National Academy of Sciences|volume=121|numéro=27|date=2024-07-02|issn=0027-8424|issn2=1091-6490|pmid=38913889|pmcid=PMC11228526|doi=10.1073/pnas.2311878121|lire en ligne=https://pnas.org/doi/10.1073/pnas.2311878121|consulté le=2024-11-15}}</ref> :

* sa taille (c'est-à-dire son nombre de [[Paramètre d'un modèle de langage|paramètres]])
* la taille du [[jeu de données]] d'apprentissage
* la quantité de calcul ayant servi à l'entraînement

Les relations empiriquement observées entre les performances d'un réseau de neurones et chacun de ces trois paramètres sont tellement précises qu'elles ont été nommées « lois d'échelle » (''scaling laws'')<ref name=":1" />{{,}}<ref name=":2" />. Par exemple, une loi de mise à l'échelle particulière (''{{langue|en|Chinchilla scaling}}'') pour le LLM {{Lien|langue=en|trad=Chinchilla (language model)|fr=Chinchilla (modèle de langage)|texte=Chinchilla}} entraîné de manière autorégressive (c'est-à-dire avec prédiction du mot suivant étant donné un segment de texte) pour une époque, avec un calendrier de taux d'apprentissage [[Repère log-log|log-log]], stipule que<ref>{{Article|auteur1=Jordan Hoffmann|auteur2=Sebastian Borgeaud|auteur3=[[Arthur Mensch]]|auteur4=Elena Buchatskaya|titre=Training Compute-Optimal Large Language Models|périodique=arXiv:2203.15556 [cs]|date=2022-03-29|lire en ligne=http://arxiv.org/abs/2203.15556}}.</ref>:<math display="block">\begin{cases}
C = C_0 ND\\
L = \frac{A}{N^\alpha} + \frac{B}{D^{\beta}} + L_0
\end{cases}</math>où les variables sont :

* <math>C</math> est la quantité de calcul ayant servi à entraîner le modèle (mesurée en [[FLOPS|FLOP]]) ;
* <math>N</math> est le nombre de paramètres du modèle ;
* <math>D</math> est le nombre de [[Analyse lexicale|jetons]] dans l'ensemble d'apprentissage ;
* <math>L</math> est la perte de [[log-vraisemblance]] négative moyenne par jeton ([[Nat (information)|nats]] /jeton), qui représente les performances du LLM ;

et les paramètres statistiques sont :

* <math> C_0 = 6</math>, ce qui signifie qu'il en coûte 6 FLOP par paramètre pour s'entraîner sur un jeton<ref>Notez que le coût d'entraînement est beaucoup plus élevé que le coût d'inférence, puisqu’il en coûte 1 à {{nobr|2 FLOP}} par paramètre pour inférer sur un jeton.</ref> ;
* <math>\alpha = 0.34, \beta = 0.28, A = 406.4, B = 410.7, L_0 = 1.69</math> .

=== Capacités émergentes ===
[[Fichier:LLM_emergent_benchmarks.png|vignette|Sur un certain nombre de repères en [[langage naturel]] impliquant des tâches telles que la réponse aux questions, les modèles ne fonctionnent pas mieux que le hasard jusqu'à ce qu'ils atteignent une certaine échelle (dans ce cas, mesurée par le calcul d'entraînement), moment auquel leurs performances augmentent fortement. Ce sont des exemples de capacités émergentes.]]
Généralement les performances de grands modèles de langage sur diverses tâches peuvent être extrapolées sur la base des performances de modèles plus petits similaires. Cependant, les grands modèles subissent parfois un « déphasage discontinu » où le modèle acquiert soudainement des capacités substantielles non vues dans les modèles plus petits. Celles-ci sont connues sous le nom de « capacités émergentes » et ont fait l'objet d'études approfondies. Les chercheurs notent que de telles capacités {{citation|ne peuvent pas être prédites simplement en extrapolant les performances de modèles plus petits}}<ref name="emergentpaper">{{Article|langue=en|auteur1=Wei|prénom1=Jason|auteur2=Tay|prénom2=Yi|auteur3=Bommasani|prénom3=Rishi|auteur4=Raffel|prénom4=Colin|titre=Emergent Abilities of Large Language Models|périodique=Transactions on Machine Learning Research|date=31 août 2022|issn=2835-8856|arxiv=2206.07682|lire en ligne=https://arxiv.org/abs/2206.07682}}.</ref>. Ces capacités sont découvertes plutôt que programmées ou conçues, dans certains cas seulement après le déploiement public du LLM<ref name="Bowman" />. Des centaines de capacités émergentes ont été décrites. Les exemples incluent le raisonnement arithmétique, la passation d'examens de niveau universitaire, l'identification du sens voulu d'un mot<ref name="emergentpaper" />, le décodage de l'[[alphabet phonétique international]], le fait de pouvoir comprendre des mots dont l'ordre des lettres est modifié, l'identification du contenu offensant dans les paragraphes de l'[[hinglish]] (un mélange d'hindi et d'anglais) et la génération d'un équivalent anglais aux proverbes [[Swahili|kiswahili]]<ref>{{harvsp|id=Ornes2023|texte=Ornes (2023)}}.</ref>.

=== Hallucination ===
Les LLM génèrent parfois des affirmations fausses qui ne semblent pas être [[Justification (philosophie)|justifiées]] par leurs [[Jeux d'entrainement, de validation et de test|données d'entraînement]], on parle alors d'« [[Hallucination (intelligence artificielle)|hallucination]] »<ref name="hallucination-survey">{{Article|auteur1=Ji|prénom1=Ziwei|auteur2=Lee|prénom2=Nayeon|auteur3=Frieske|prénom3=Rita|auteur4=Yu|prénom4=Tiezheng|titre=Survey of Hallucination in Natural Language Generation|périodique=ACM Computing Surveys|volume=55|numéro=12|pages=1–38|éditeur=[[Association for Computing Machinery]]|date=November 2022|doi=10.1145/3571730|s2cid=246652372|arxiv=2202.03629|lire en ligne=https://dl.acm.org/doi/pdf/10.1145/3571730|consulté le=15 janvier 2023|format=pdf}}.</ref>.

== Biais et limites ==
Les [[biais]] sont une préoccupation car tout modèle complexe créé par des humains peut refléter les biais des équipes qui préparent et conçoivent les LLM, et des scientifiques des données qui entraînent et mettent en œuvre les modèles<ref name="Toptal2023">{{Lien web |langue=en |auteur=Michael McKenna |titre=Machines and Trust: How to Mitigate AI Bias |url=https://www.toptal.com/artificial-intelligence/mitigating-ai-bias |site=Toptal Engineering Blog |consulté le=2023-11-15}}.</ref>.
=== Préjugés sexistes ===
Les préjugés sexistes font référence à la tendance de ces modèles à produire des résultats injustement préjugés en faveur d’un sexe plutôt qu’un autre. Ce biais provient généralement des données sur lesquelles ces modèles sont formés. Par exemple, les grands modèles linguistiques attribuent souvent des rôles et des caractéristiques basés sur les normes de genre traditionnelles ; elle pourrait associer principalement les infirmières ou les secrétaires aux femmes et les ingénieurs ou les PDG aux hommes<ref>{{Article|prénom1=Hadas|nom1=Kotek|prénom2=Rikker|nom2=Dockum|prénom3=David|nom3=Sun|titre=Gender bias and stereotypes in Large Language Models|périodique=Proceedings of The ACM Collective Intelligence Conference|série=CI '23|pages=12–24|éditeur=Association for Computing Machinery|date=2023-11-05|isbn=979-8-4007-0113-9|doi=10.1145/3582269.3615599|lire en ligne=https://dl.acm.org/doi/10.1145/3582269.3615599|consulté le=2023-12-25}}</ref>.

=== Stéréotypes ===
Au-delà du genre et de l'origine, ces modèles peuvent renforcer un large éventail de stéréotypes, notamment ceux fondés sur l’âge, la nationalité, la religion ou la profession. Cela peut conduire à des résultats qui généralisent ou caricaturent injustement des groupes de personnes, parfois de manière préjudiciable ou désobligeante<ref>{{Article|prénom1=Fatma|nom1=Elsafoury|prénom2=Steve R.|nom2=Wilson|prénom3=Stamos|nom3=Katsigiannis|prénom4=Naeem|nom4=Ramzan|titre=SOS: Systematic Offensive Stereotyping Bias in Word Embeddings|périodique=Proceedings of the 29th International Conference on Computational Linguistics|pages=1263–1274|éditeur=International Committee on Computational Linguistics|date=2022-10|lire en ligne=https://aclanthology.org/2022.coling-1.108|consulté le=2023-12-26}}</ref>.

=== Biais politique ===
Les préjugés politiques font référence à la tendance des algorithmes à favoriser systématiquement certains points de vue politiques, idéologies ou résultats par rapport à d’autres. Les modèles linguistiques peuvent également présenter des préjugés politiques. Étant donné que les données de formation incluent un large éventail d'opinions et de couvertures politiques, les modèles peuvent générer des réponses qui penchent vers des idéologies ou des points de vue politiques particuliers, en fonction de la prévalence de ces points de vue dans les données<ref>{{Article|prénom1=Karen|nom1=Zhou|prénom2=Chenhao|nom2=Tan|titre=Entity-Based Evaluation of Political Bias in Automatic Summarization|périodique=Findings of the Association for Computational Linguistics: EMNLP 2023|pages=10374–10386|éditeur=Association for Computational Linguistics|date=2023-12|doi=10.18653/v1/2023.findings-emnlp.696|lire en ligne=https://aclanthology.org/2023.findings-emnlp.696|consulté le=2023-12-26}}</ref>.

=== Biais linguistique ===
Les biais linguistiques font référence au fait que les données d'apprentissage peuvent ne pas être représentatives de la population mondiale. Par exemple, pour un concept comme le « libéralisme », un modèle principalement entraîné en anglais privilégiera une interprétation anglo-américaine, centrée sur les droits de l'homme et l'égalité. Des points de vue d'autres cultures sur le libéralisme, comme « s'oppose à l'État » au Vietnam, ou « limitation du pouvoir gouvernemental » en Chine, risquent d'être sous-représentées<ref name=":0">{{Article|langue=English|auteur1=Queenie Luo|nom2=Michael J. Puett|nom3=Michael D. Smith|titre=A Perspectival Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, Wikipedia, and YouTube|périodique=scientific journal|date=12-25-2023|lire en ligne=https://arxiv.org/abs/2303.16281|archiveurl=https://arxiv.org/abs/2303.16281|accès url=libre|format=pdf}}</ref>.

=== Mise en œuvre ===
*En amont (dans la construction du LLM), des biais sont [[engramme|engrammés]] dans les données ; ils sont par exemple liés à la [[vision du monde]] des opérateurs (et donc à leur époque), à la langue et aux cultures des programmeurs<ref name="Toptal2023" />. Ils sont d'autre part liés aux biais présents dans les bases de données d'entrainement de l'IA (stéréotypes discriminatoires, inexactitudes, incohérences…)<ref name="BiaisIAManyika">{{Lien web |langue=en |prénom=James |nom=Manyika |prénom2=Jake |nom2=Silberg |titre=What Do We Do About the Biases in AI? |url=https://hbr.org/2019/10/what-do-we-do-about-the-biases-in-ai |site=Harvard Business Review |date=2019-10-25 |issn=0017-8012 |consulté le=2023-11-15}}.</ref> ; les plus grandes bases de données qui ont entrainé ChatGPT ont été la base des brevets américaine et Wikipédia en anglais, qui ne reflètent pas toute la richesse et la diversité du monde). Des LLM entraînés par exemple avec un [[corpus]] de textes de discussions sur Twitter associeront de fortes probabilités à des énoncés agressifs, racistes et d'exclusion, biaisés, toxiques ou sensibles si de tels langages sont présents dans leurs données d'entraînement<ref>{{Lien web |langue=en-US |prénom=Meeta |nom=Ramnani |titre=How bias creeps into large language models |url=https://analyticsindiamag.com/how-bias-creeps-into-large-language-models/ |site=Analytics India Magazine |date=2022-01-11 |consulté le=2023-11-15}}.</ref>.
* En aval, le prompt peut lui même introduire des biais qui orienteront la réponse de l'IA utilisant un modèle LLM. Les LLM peuvent apprendre, et ensuite plus ou moins perpétuer voire amplifier des biais sociaux délétères<ref>{{Lien arXiv|langue=en|prénom1=Isabel O.|nom1=Gallegos|et al.=oui|titre=Bias and Fairness in Large Language Models: A Survey|date=1er septembre 2023|eprint=2309.00770}}.</ref>.
Pour limiter ces biais, il est possible de régulièrement mettre à jour la qualité et la taille des bases de connaissances des LLM. Des processus dits « d'IA responsable » peuvent corriger une grande partie des biais. Ils le font via des techniques et des  outils ''ad hoc'', c'est-à-dire développés (et en cours d'amélioration) pour {{Citation|garantir que les systèmes d'IA peuvent respecter ces définitions, en traitant les données au préalable, en modifiant les décisions du système par la suite, ou en intégrant les définitions d'[[équité]] dans le processus de formation lui-même}}. Ces techniques s'appuient notamment sur des [[audit]]s par des tiers indépendants, des études scientifiques [[multidisciplinaire]]s sur les biais, et des « [[Équipe rouge|équipes rouges]] » internes chargées de tester le système utilisant le LLM<ref name="BiaisIAManyika" />.

Un autre processus responsable est de diversifier la communauté de l'IA (pour collaborativement mieux anticiper, examiner et repérer les biais, en faisant participer les communautés discriminées et affectées par ces biais)<ref name="BiaisIAManyika" />. Il est aussi nécessaire, lors des phases d'apprentissage du LLM, de diversifier les sources de données ; et dans le même temps d'accorder plus de poids aux données et conversations basées sur des faits et/ou [[Pratique fondée sur les preuves|basés sur des preuves]] ({{ex}} [[médecine fondée sur les faits]]) et sur la [[science]] (par rapport aux conversations basées sur des opinions), grâce à l'exécution d'algorithmes régulièrement contrôlés par des humains, grâce à des analyses comparées des résultats, et à la mobilisation de techniques d'explicabilité des résultats<ref name="BiaisIAManyika" />. Dans certains cas des [[données synthétiques]] conçues pour être aussi peu biaisées que possibles peuvent être utilisées.

== Optimisation de requête ==
{{Article principal|Ingénierie de prompt}}Entre 2018 et 2020, la méthode standard pour exploiter un LLM pour une tâche spécifique de traitement automatique des langues consistait à affiner le modèle avec un entraînement supplémentaire spécifique à la tâche. Il a ensuite été découvert que des LLM plus puissants tels que [[GPT-3]] peuvent résoudre des tâches sans entraînement supplémentaire via des techniques dans lesquelles le problème à résoudre est présenté au modèle sous forme de requête (synonyme de « prompt » ou « invite »<ref>{{Lien web |langue=fr |titre=requête |url=https://vitrinelinguistique.oqlf.gouv.qc.ca/fiche-gdt/fiche/26571209/requete |site=vitrinelinguistique.oqlf.gouv.qc.ca |consulté le=2023-11-12}}.</ref>), éventuellement avec quelques exemples textuels de problèmes similaires avec les réponses correspondantes attendues afin de guider le modèle<ref name="emergentpaper" />.

L'approche qui consiste à fournir d'abord quelques exemples de réponses valides pour des requêtes similaires est appelée « requête en quelques coups » (''few-shot prompt''). Par exemple, une tâche d'analyse des sentiments consistant à déterminer le sentiment d'une critique de film pourrait être formulée avec la requête<ref name="emergentpaper" /> :<pre>Critique : Ce film est nul.
Sentiment : négatif

Critique : Ce film est fantastique !
Sentiment :</pre>Si le modèle affiche « positif », alors il a correctement résolu la tâche. Dans la requête à partir de zéro (''zero-shot prompt''), aucun exemple n'est fourni. Un exemple de requête à partir de zéro pour la même tâche d'analyse des sentiments serait  <pre>Le sentiment associé à la critique de film "Ce film est fantastique !" est</pre>Il a été démontré que les performances ''en quelques coups'' de LLM permettent d'obtenir des résultats compétitifs sur des tâches de [[traitement automatique des langues]], dépassant parfois les approches de réglage fin. Par exemple en [[Traduction automatique|traduction]], en [[Systèmes de questions-réponses|réponse aux questions]], en [[Texte à trous|complétion de texte]] ou en [[Programmation_informatique|programmation]]{{Référence insuffisante|date=avril 2024}}<ref>{{Lien web |langue=en |titre=Deep learning in digital health with chatgpt: a study on efficient code generation |url=https://academic.oup.com/eurheartj/article/44/Supplement_2/ehad655.2937/7390866? |site=academic.oup.com |consulté le=2023-11-12}}</ref>. La création et l'optimisation de requêtes concerne l'[[ingénierie de prompt]], aussi appelée « rédactique<ref>{{Lien web |langue=en |titre=Résultats de recherche |url=https://vitrinelinguistique.oqlf.gouv.qc.ca/fiche-gdt/fiche/26571214/redactique |site=vitrinelinguistique.oqlf.gouv.qc.ca |consulté le=2023-11-12}}</ref> ».

Une autre méthode parfois utilisée est celle de la [[Ingénierie de prompt#Chaîne de pensée|chaîne de pensée]]. Par exemple en ajoutant dans la requête « raisonnons étape par étape ». Cette méthode peut s'avérer efficace pour les problèmes nécessitant plusieurs étapes de raisonnement, tels que les problèmes d'arithmétique<ref>{{Lien web |langue=en |prénom=Roger |nom=Montti |titre=Google's Chain of Thought Prompting Can Boost Today's Best Algorithms |url=https://www.searchenginejournal.com/google-chain-of-thought-prompting/450106/ |site=Search Engine Journal |date=2022-05-13 |consulté le=2024-05-05}}</ref>.

== Évaluation ==

=== Perplexité ===
La mesure la plus couramment utilisée de la performance d'un modèle de langage est sa perplexité sur un corpus de texte donné. La perplexité est une mesure de la capacité d'un modèle à prédire le contenu d'un ensemble de données ; plus la probabilité que le modèle attribue à l'ensemble de données est élevée, plus la perplexité est faible. Mathématiquement, la perplexité est définie comme l'exponentielle de la moyenne de la [[fonction de vraisemblance|log-vraisemblance]] négative par jeton :<math display="block">\log(\text{Perplexity}) = -\frac{1}{N} \sum_{i=1}^N \log(Pr(\text{token}_i | \text{context for token}_i))</math><br />
ici <math>N</math> est le nombre de jetons dans le corpus de texte, et le « contexte du jeton i » dépend du type spécifique de LLM utilisé. Si le LLM est autorégressif, alors le « contexte pour le jeton i » est le segment de texte apparaissant avant le jeton i. Si le LLM est masqué, alors « contexte pour le jeton i » est le segment de texte entourant le jeton i.

Étant donné que les modèles de langage peuvent [[Surapprentissage|suradapter]] à leurs données d'apprentissage, les modèles sont généralement évalués en fonction de leur perplexité sur un [[Jeux d'entrainement, de validation et de test|ensemble de tests]] de données invisibles. Cela présente des défis particuliers pour l'évaluation de grands modèles de langage. Au fur et à mesure qu'ils sont entraînés sur des corpus de texte de plus en plus volumineux largement extraits du Web, il devient de plus en plus probable que les données d'entraînement des modèles incluent par inadvertance des parties d'un ensemble de tests donné.

Cette notion est à l'origine du nom de la startup d'IA [[Perplexity AI]], créée en août 2022<ref name=CgebForbes2023>{{Lien web |langue=en |prénom=Joanne |nom=Chen |titre=How Perplexity.ai Is Pioneering The Future Of Search |url=https://www.forbes.com/sites/joannechen/2023/09/06/how-perplexityai-is-pioneering-the-future-of-search/ |site=[[Forbes (magazine)|forbes.com]] |date=2023/09/06 |consulté le=2024-01-06}}.</ref>.

=== Ensembles de données et points de repère spécifiques aux tâches ===
Un grand nombre d'ensembles de données de test de validation ou de performance ont également été développés pour évaluer les capacités des modèles de langage sur des tâches en aval plus spécifiques. Les tests peuvent être conçus pour évaluer une variété de capacités, y compris les connaissances générales, le raisonnement de bon sens et la résolution de problèmes mathématiques.

Une grande catégorie d'ensembles de données d'évaluation est les ensembles de données de questions-réponses, consistant en des paires de questions et de réponses correctes, par exemple, (« Les Sharks de San Jose ont-ils remporté la Coupe Stanley? » , « Non »). Une tâche de réponse aux questions est considérée comme un « livre ouvert » si l'invite du modèle comprend un texte à partir duquel la réponse attendue peut être dérivée (par exemple, la question précédente pourrait être jointe à un texte qui comprend la phrase « Les Sharks ont atteint la coupe Stanley finales une fois, perdant contre les Penguins de Pittsburgh en 2016. »). Sinon, la tâche est considérée comme « livre fermé », et le modèle doit s'appuyer sur les connaissances retenues pendant l'entrainement. Voici quelques exemples d'ensembles de données de réponse aux questions couramment utilisés : TruthfulQA, Web Questions, TriviaQA et SQuAD.

Les ensembles de données d'évaluation peuvent également prendre la forme d'une complétion de texte, le modèle sélectionnant le mot ou la phrase la plus probable pour compléter une invite, par exemple : « Alice était amie avec Bob. Alice est allée rendre visite à son amie, ____ ».

Certains repères composites ont également été développés, qui combinent une diversité d'ensembles de données et de tâches d'évaluation différents. Les exemples incluent GLUE, SuperGLUE, [[MMLU]], BIG-bench et HELM<ref>{{Lien web |langue=en |titre=Qu'est-ce que l'évaluation des LLM ? — Klu |url=https://klu.ai/glossary/llm-evaluation-fr |site=klu.ai |date=2023-07-04 |consulté le=2023-12-14}}</ref>.

Auparavant, il était courant de rapporter les résultats sur une partie non conservée d'un ensemble de données d'évaluation après avoir effectué un réglage fin supervisé sur le reste. Il est maintenant plus courant d'évaluer un modèle pré-formé directement par des techniques d'incitation, bien que les chercheurs varient dans les détails de la façon dont ils formulent des invites pour des tâches particulières, en particulier en ce qui concerne le nombre d'exemples de tâches résolues qui sont associés à l'invite.

==== Évaluations construites de manière contradictoire ====
En raison du rythme rapide d'amélioration des grands modèles de langage, les repères d'évaluation ont souffert de courtes durées de vie, les modèles de pointe « saturant » rapidement les repères existants, dépassant les performances des annotateurs humains, conduisant à des efforts pour remplacer ou augmenter le repère avec tâches plus exigeantes.

Certains ensembles de données ont été construits de manière contradictoire, en se concentrant sur des problèmes particuliers sur lesquels les modèles de langage existants semblent avoir des performances inhabituellement médiocres par rapport aux humains. Un exemple est l'ensemble de données TruthfulQA, un ensemble de données de questions-réponses composé de 817 questions auxquelles les modèles de langage sont susceptibles de répondre de manière incorrecte en imitant les faussetés auxquelles ils ont été exposés à plusieurs reprises pendant l'entraînement. Par exemple, un LLM peut répondre « Non » à la question « Pouvez-vous apprendre de nouveaux tours à un vieux chien ? » en raison de son exposition à l'expression anglaise''[[wikt:you can't teach an old dog new tricks|, vous ne pouvez pas apprendre de nouveaux tours à un vieux chien]]'', même si ce n'est pas littéralement vrai.

Un autre exemple d'ensemble de données d'évaluation contradictoire est Swag et son successeur, HellaSwag, des collections de problèmes dans lesquels l'une des multiples options doit être sélectionnée pour compléter un passage de texte. Les complétions incorrectes ont été générées par échantillonnage à partir d'un modèle de langage et filtrage avec un ensemble de classificateurs. Les problèmes qui en résultent sont insignifiants pour les humains, mais au moment où les ensembles de données ont été créés, les modèles de langage de pointe étaient peu précis. Par exemple:<blockquote>Nous voyons un panneau indiquant un centre de remise en forme. Nous voyons ensuite un homme parler à la caméra et assis et allongé sur un ballon d'exercice. L'homme...<br /> a) montre comment augmenter l'efficacité de l'exercice en faisant monter et descendre des balles.<br /> b) bouge tous ses bras et ses jambes et développe beaucoup de muscles.<br /> c) joue ensuite la balle et nous assistons à une démonstration de graphisme et de taille de haie.<br />

 d) effectue des redressements assis tout en étant sur le ballon et en parlant. </blockquote>[[BERT (modèle de langage)|BERT]] sélectionne b) comme l'achèvement le plus probable, bien que la bonne réponse soit d).

== Voir aussi ==

=== Articles connexes ===
* [[Liste de grands modèles de langage]]
* [[Modèle de fondation|Modèles de fondation]]
* [[Modèle de langage]]
* [[Intelligence artificielle générale]]
* [[GPT-3]]
* [[Petit modèle de langage]]

=== Bibliographie ===
* {{Article |nom=Ornes |prénom=Stephen |titre=The Unpredictable Abilities Emerging From Large AI Models |url=https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/ |périodique=[[Quanta Magazine]] |date=March 16, 2023|langue=en|id=Ornes2023|accès url=libre}}.
** {{Article| langue=fr| titre=Modèles massifs de langage. D'où viennent les coups de génie de l'IA ?| auteur1=Stephen Ornes| périodique=[[Pour la science]]| numéro=549| date=juillet 2023| pages=46-51| id=PourLaScienceOrnes2023| lire en ligne=https://www.pourlascience.fr/sd/informatique/modeles-de-langage-d-ou-viennent-les-coups-de-genie-des-ia-25318.php|accès url=payant}}, adaptation française par la revue.
* {{Article| langue=fr| titre=Derrière les modèles massifs de langage| auteur1=[[Jean-Paul Delahaye]]| périodique=[[Pour la science]]| numéro=555| date=janvier 2024| pages=80-85}}

== Références ==
{{Références}}

{{Palette|Intelligence artificielle}}
{{portail|intelligence artificielle|Informatique|probabilités|linguistique}}

[[Catégorie:Traitement automatique du langage naturel]]
[[Catégorie:Réseau de neurones artificiels]]
[[Catégorie:Pages avec des traductions non relues]]