Voir la source de Effondrement de modèles d'intelligence artificielle

Dans le domaine de l'[[intelligence artificielle]],  l''''effondrement de modèle''' (ou ''model collapse'' en anglais) est la perte d'efficience que peuvent subir des modèles d'[[apprentissage automatique]], par accumulation d'erreurs, après des entraînements sur des données récursivement générées par un autre modèle d'intelligence artificielle (ou par des versions antérieures de cette même intelligence artificielle).

Certains chercheurs et analystes estiment que c'est un problème d'apprentissage automatique dont l'occurrence pourrait augmenter<ref name="Shumailov-2024">{{Article|langue=en|nom1=Shumailov|prénom1=Ilia|nom2=Shumaylov|prénom2=Zakhar|nom3=Zhao|prénom3=Yiren|nom4=Papernot|prénom4=Nicolas|titre=AI models collapse when trained on recursively generated data|périodique=Nature|volume=631|numéro=8022|pages=755–759|date=juillet 2024|issn=1476-4687|pmcid=11269175|doi=10.1038/s41586-024-07566-y|lire en ligne=https://www.nature.com/articles/s41586-024-07566-y}}.</ref>{{,}}<ref>{{Lien web |langue=en |prénom=Ilkhan |nom=Ozsevim |titre=Research finds ChatGPT & Bard headed for 'Model Collapse' |url=https://aimagazine.com/articles/research-finds-chatgpt-headed-for-model-collapse |site=aimagazine.com |date=2023-06-20 |consulté le=2024-10-19}}.</ref>{{,}}<ref>{{Lien web |langue=en-US |nom=Mok |prénom=Aaron |titre=A disturbing AI phenomenon could completely upend the internet as we know it |url=https://www.businessinsider.com/ai-model-collapse-threatens-to-break-internet-2023-8 |série=Business Insider |consulté le=2024-03-06}}.</ref>, et qui peut aussi concerner l'apprentissage sur certaines [[données synthétiques]], mais d'autres chercheurs pensent que ce risque est limité ou nul car l'apprentissage des modèles d'intelligence artificielle se fait toujours aussi avec des donnés neuves (ou anciennes) provenant de l'environnement  réel.

Shumailov {{et al.}} (2024)<ref name="Shumailov-2024" />, qui ont inventé le terme de ''Model collapse'', distinguent deux étapes spécifiques dans cette dégradation : <br>1) ''une phase précoce'', parfois discrète ; et <br>2), un ''effondrement du modèle''. <br>Lors de la phase précoce, le modèle commence à perdre des informations sur les queues de la [[Loi de probabilité|distribution]] – affectant principalement les données mineures. L'effondrement précoce du modèle est difficile à remarquer car, paradoxalement, les performances globales du modèle peuvent sembler s'améliorer, même s'il perd en performances sur les données mineures<ref>{{Ouvrage|langue=en|prénom1=Sierra|nom1=Wyllie|prénom2=Ilia|nom2=Shumailov|prénom3=Nicolas|nom3=Papernot|titre=The 2024 ACM Conference on Fairness, Accountability, and Transparency|lieu=New York, NY, USA|éditeur=Association for Computing Machinery|collection=FAccT '24|date=2024-06-05|pages totales=2113–2147|isbn=979-8-4007-0450-5|doi=10.1145/3630106.3659029|arxiv=2403.07857|titre chapitre=Fairness Feedback Loops: Training on Synthetic Data Amplifies Bias}}.</ref>. Lors de la phase d'effondrement tardif du modèle, celui-ci perd une part importante de ses performances, il perd la majeure partie de sa [[Variance (mathématiques)|variance]].

Pour limiter le risque d'effondrement des modèles d'intelligence artificielle, il faut adéquatement concevoir le modèle, sélectionner des données représentatives pour son apprentissage, et surveiller le processus d'apprentissage, afin de minimiser ou compenser ces erreurs.

== Mécanisme ==
Beaucoup de données créées par des intelligences artificielles génératives sont théoriquement impossibles à distinguer des données réelles, sont presque toujours biaisées, inexactes, peu représentatives des données réelles, nuisibles ou présentées hors contexte<ref>{{Lien web |langue=en|prénom=Micholas|nom=De Rosa|titre=How the new version of ChatGPT generates hate and disinformation on command|url=https://www.cbc.ca/news/science/chatgpt-disinformation-hate-artificial-intelligence-1.7220138|site=CBC|date=31 mai 2024|consulté le= 13 juin 2024}}.</ref>{{,}}<ref>{{Lien web |langue=en-US |prénom=Kyle |nom=Orland |titre=Google’s “AI Overview” can give false, misleading, and dangerous answers |url=https://arstechnica.com/information-technology/2024/05/googles-ai-overview-can-give-false-misleading-and-dangerous-answers/ |site=Ars Technica |date=2024-05-24 |consulté le=2024-10-19}}.</ref>. L’utilisation de telles données comme données de formation entraîne des problèmes de qualité et de fiabilité du modèle formé <ref>{{Lien conférence|titre=Self-Consuming Generative Models Go MAD|url=https://openreview.net/forum?id=ShjMHfmPs0|titre conférence=The Twelfth International Conference on Learning Representations|langue=English}}.</ref>.

L'effondrement d'un modèle peut se produire pour trois raisons principales qui sont des ''erreurs d’approximation fonctionnelle'', des ''erreurs d’échantillonnage'' et des ''erreurs d’apprentissage''<ref name="Shumailov-2024"/> :
# ''erreurs d'approximation fonctionnelle'' : elles surviennent quand le modèle d'intelligence artificielle ne parvient pas à capturer correctement la relation entre les variables d'entrée et de sortie. Cela peut être dû à une complexité insuffisante du modèle ou à une mauvaise sélection des fonctions d’approximation. Par exemple, un modèle linéaire ne pourra pas capturer des relations non linéaires complexes ;
# ''erreurs d'échantillonnage'' : elles se produisent quand les données utilisées pour entraîner le modèle ne sont pas représentatives de la population réelle. Cela peut résulter d’un biais dans la sélection des données et/ou d’une taille d'échantillon insuffisante. Ces erreurs peuvent entraîner des modèles qui fonctionnent bien sur les données d'entraînement mais échouent sur de nouvelles données. Remarque : ci-dessus, le mot population fait référence à une population [[statistique]] de données (l'ensemble complet des données ou des cas possibles que le modèle d'intelligence artificielle est censé représenter ou prédire). Par exemple, si un modèle doit prédire les préférences musicales d'utilisateurs, la population inclurait tous les utilisateurs potentiels et leurs préférences musicales ;
# ''erreurs d'apprentissage'' : les erreurs d'apprentissage sont liées aux processus d’optimisation et de généralisation du modèle. Elles peuvent survenir en raison d’un [[surapprentissage]] (overfitting), quand le modèle s’adapte trop étroitement aux données d’entraînement, ou d’un [[sous-apprentissage]] (underfitting), quand le modèle est trop simple pour capturer les tendances des données.

Même dans les modèles les plus simples, ces erreurs peuvent se manifester, bien que toutes les sources d'erreurs ne soient pas toujours présentes simultanément.

Dans les modèles complexes, le cumul de ces erreurs peut conduire à un effondrement plus rapide du modèle, car chaque type d’erreur peut exacerber les effets des autres.

== Désaccords sur l'impact de ce biais dans le monde réel ==
[[Fichier:Model_Collapse_in_Generative_Models_Can_Be_Avoided_By_Accumulating_Data.png|vignette| L'effondrement du modèle dans les modèles génératifs est réduit quand les données s'accumulent.]]

Certains chercheurs et commentateurs alertent sur le fait que l’effondrement des modèles pourrait selon eux fondamentalement menacer le développement futur de l'[[intelligence artificielle générative]]. Leur hypothèse est qu'à mesure que les données générées par l'intelligence artificielle sont diffusées et partagées sur Internet, elles finissent inévitablement par se retrouver dans de futurs corpus de données de formation (classiquement, les données de formation sont en grande partie extraits de l'[[Internet]]). Si l’entraînement sur des données synthétiques ne fait pas l'objet de corrections, il peut conduire à l'effondrement du modèle<ref>{{Lien web |langue=en |titre=What is Model Collapse and how to avoid it |url=https://www.theregister.com/2024/01/26/what_is_model_collapse/ |série=The Register |consulté le=11 juillet 2024}}.</ref>.

D'autres chercheurs estiment que ce risque est en réalité limité, car les modèles n'apprennent pas que de modèles : tant que les données synthétiques s’accumulent aux côtés de données générées par l'homme ou issues du monde réel, l'effondrement du modèle sera évité. Ces chercheurs soutiennent que l'accumulation de données au fil du temps est une description plus réaliste de la réalité à venir que le [[scénario catastrophe]] d'un effondrement des modèles<ref>{{Lien web |langue=en |titre=Big brains divided over training AI with more AI: Is model collapse inevitable? |url=https://www.theregister.com/2024/05/09/ai_model_collapse/ |série=The Register |consulté le=11 juillet 2024}}.</ref>. Il existe des cas particuliers où des modèles d'intelligence artificielle sont volontairement ''nourris'' avec des [[données synthétiques]] (par exemple afin de respecter l'anonymat dans le domaine des [[données de santé]] ou d'autres types de [[données personnelles]]), mais ces données sont alors générées de manières à fortement imiter les données réelles.

Des chercheurs progressent aussi rapidement sur l'utilisation de systèmes de détection (eux-mêmes basés sur l'apprentissage automatique) de données générées par des intelligences artificielles<ref>{{Article |langue=en |prénom1=Ruixiang |nom1=Tang |prénom2=Yu-Neng |nom2=Chuang |prénom3=Xia |nom3=Hu |titre=The Science of Detecting LLM-Generated Text |périodique=Communications of the ACM |volume=67 |numéro=4 |pages=50–59 |date=2024-03-25 |issn=0001-0782 |issn2=1557-7317 |doi=10.1145/3624725 |lire en ligne=http://dx.doi.org/10.1145/3624725 |consulté le=2024-10-19}}.</ref>, ou sur l'utilisation de tags permettant d'identifier les données générées par des modèles, pour pouvoir les extraire des corpus de données utilisés pour l'apprentissage automatique<ref>{{Article|langue=en|nom1=Kirchenbauer|prénom1=John|nom2=Geiping|prénom2=Jonas|nom3=Wen|prénom3=Yuxin|nom4=Katz|prénom4=Jonathan|titre=A Watermark for Large Language Models|périodique=Proceedings of the 40th International Conference on Machine Learning|pages=17061–17084|éditeur=PMLR|date=2023-07-03|lire en ligne=https://proceedings.mlr.press/v202/kirchenbauer23a.html}}.</ref>{{,}}<ref>{{Lien web |langue=en-US |titre=My AI Safety Lecture for UT Effective Altruism |url=https://scottaaronson.blog/?p=6823 |série=Shtetl-Optimized |date=2022-11-29 |consulté le=2024-06-22}}.</ref>.

== Modélisations mathématiques du phénomène ==

=== Modèle gaussien 1D ===
Une première tentative<ref name="Shumailov-2024" /> d'illustrer l'effondrement du modèle le plus simple possible a été faite, ''via'' un ajustement [[Loi normale|de distribution normale]] unidimensionnelle utilisant [[Biais (statistique)|des estimateurs non biaisés]] de moyenne et de variance, calculés sur des échantillons de la génération précédente.

Pour rendre cela plus précis, les données originales suivent une distribution normale <math>X^0 \sim \mathcal{N}(\mu,\sigma^2)</math>, pour  <math>M_0</math> échantillons <math>X^0_j</math> pour <math>j = 1, \dots, M_0</math> . Désignant un échantillon général <math>X^i_j</math> comme échantillon <math>j = 1, \dots, M_i</math> à la génération <math>i</math>, puis le modèle de génération suivante est estimé à l'aide de la moyenne et de la variance de l'échantillon :

<math>\mu_{i+1} = \frac{1}{M_i}\sum_j X^i_j; \quad \sigma_{i+1}^2 = \frac{1}{M_i-1}\sum _j(X^i_j-\mu_{i+1})^2.</math>

.. conduisant à un modèle de nouvelle génération conditionnellement normal <math>X^{i+1}_j|\mu_{i+1},\;\sigma_{i+1}\sim \mathcal{N}(\mu_{i+1},\sigma_{i+1}^2)</math> . En théorie, cela suffit pour calculer la distribution complète de <math>X^i_j</math> . Mais même après la première génération, la distribution complète n'est plus normale, elle suit une distribution variance-gamma.

Pour poursuivre l'analyse, au lieu d'écrire la fonction de densité de probabilité à chaque génération, il est possible de les construire explicitement en termes de variables aléatoires indépendantes en utilisant le [[le théorème de Cochran]]. Pour être précis, <math>\mu_1</math> et <math>\sigma_1</math> sont indépendants, avec <math>\mu_1 \sim \mathcal{N}(\mu, \frac{\sigma^2}{M_0})</math> et <math>(M_0-1)\sigma_1^2 \sim \sigma^2\Gamma\left(\frac{M_0-1}{2}, \frac12\right)</math>, suivant une [[Loi Gamma|distribution Gamma]]. Désignant avec <math>Z</math> variables aléatoires gaussiennes distribuées avec <math>\mathcal{N}(0, 1)</math> et avec <math>S^i</math> variables aléatoires distribuées avec <math>\frac{1}{M_{i-1}-1}\Gamma\left(\frac{M_{i-1}-1}{2}, \frac12\right)</math>, il s'avère possible d'écrire des échantillons à chaque génération comme

<math display="inline">X^0_j = \mu + \sigma Z^0_j,
</math>

<math display="inline">X^1_j = \mu + \frac{\sigma}{\sqrt{M_0}}Z^1 + \sigma\sqrt{S^1}Z^1_j,
  </math>

et plus généralement

<math display="block">X^n_j = \mu + \frac{\sigma}{\sqrt{M_0}}Z^1 + \frac{\sigma}{\sqrt{M_1}}\sqrt{S^1}Z^2 + \dots 
+ \frac{\sigma}{\sqrt{M_{n-1}}}\sqrt{S^1\times\dots\times S^{n-1}}Z^n+\sigma\sqrt{S^1\times\dots\times S^{n}}Z^n_j.</math>

Remarque : il ne s'agit pas de distributions conjointes, car <math>Z^n</math> et <math>S^n</math> dépendent directement de <math>Z^{n-1}_j</math>, mais en considérant <math>X^n_j</math> à elle seule, la formule ci-dessus fournit toutes les informations sur la distribution complète.

Pour analyser l'effondrement du modèle, nous pouvons d'abord calculer la variance et la moyenne des échantillons à la génération <math>n</math>. Cela nous indiquerait à quel type de distributions nous nous attendons à arriver après <math>n
</math> générations. Il est possible de trouver sa valeur exacte sous forme fermée, mais la moyenne et la variance de la racine carrée de la distribution gamma sont exprimées en termes de fonctions gamma, ce qui rend le résultat assez maladroit. Ensuite<ref name="Shumailov-2024"/>, il est possible d'étendre tous les résultats au deuxième ordre dans chacun des <math>1/M_i</math>, en supposant que chaque taille d’échantillon soit grande. Il est alors possible de montrer que

<math>\frac{1}{\sigma^2}\operatorname{Var}(X^n_j) = \frac{1}{M_0}+\frac{1}{M_1}+ \dots + \frac{1}{M_{n-1}}+1 + \mathcal{O}\left(M_i^{-2}\right).</math>

Et si toutes les tailles d'échantillon <math>M_i = M</math> sont constantes, cela diverge linéairement comme <math>n\to\infty</math> :

<math>\operatorname{Var}(X^n_j) = \sigma^2\left(1+\frac{n}{M}\right); \quad \mathbb{E}(X^n_j) = \mu.</math>

Il s'agit de la même échelle que pour une [[Marche aléatoire|marche aléatoire gaussienne]] unidimensionnelle. Cependant, la divergence de la variance de <math>X^n_j</math> ne fournit pas directement d'informations sur les estimations correspondantes de <math>\mu_{n+1}</math> et <math>\sigma_{n+1}</math>, en particulier à quel point ils sont différents de l'original <math>\mu</math> et <math>\sigma</math> . Il s'avère possible de calculer la distance entre la distribution réelle et la distribution approximative à l'étape <math>n+1</math>, en utilisant la [[Distance de Wasserstein|distance de Wasserstein-2]] (qui est également parfois appelée risque ) :

<math>\mathbb{E}\left[\mathbb{W}^2_2\left(\mathcal{N}(\mu,\sigma^2),\mathcal{N}(\mu_{n+1},\sigma^2_{n+1})\right)\right]=\frac{3}{2}\sigma^2\left(\frac{1}{M_0}+\frac{1}{M_1}+ \dots + \frac{1}{M_{n}}\right)+\mathcal{O}\left(M_i^{-2}\right),</math>

<math>\operatorname{Var}\left[\mathbb{W}^2_2\left(\mathcal{N}(\mu,\sigma^2),\mathcal{N}(\mu_{n+1},\sigma^2_{n+1})\right)\right]=\frac{1}{2}\sigma^4\left(\frac{3}{M_0^2}+\frac{3}{M_1^2}+ \dots + \frac{3}{M_{n}^2} + \sum_{i\neq j}\frac{4}{M_iM_j}\right)+\mathcal{O}\left(M_i^{-3}\right).

</math>

Cela montre directement pourquoi l'effondrement du modèle se produit dans ce modèle simple. En raison d'erreurs dues au rééchantillonnage de la distribution approximative, chaque génération finit par correspondre à une nouvelle étape dans une marche aléatoire des paramètres du modèle. Pour une taille d'échantillon constante à chaque génération, la distance moyenne par rapport au point de départ diverge, et pour que l'approximation de la distribution finale soit précise, ou pour que la distance soit finie, le taux d'échantillonnage <math>M_i</math> doit augmenter de manière superlinéaire, c'est-à-dire qu'il faut collecter de plus en plus d'échantillons au fil du temps, peut-être de manière quadratique. Cependant, même dans ce cas, la distance attendue après <math>n</math> les étapes restent différentes de zéro et le seul cas où elles finissent par être nulles est lorsque l'échantillonnage est infini à chaque étape. Dans l'ensemble, cela nous montre seulement à quelle distance en moyenne on se trouve de la distribution d'origine, mais le processus ne peut « se terminer » que si la variance estimée à une certaine génération devient suffisamment petite, transformant ainsi efficacement la distribution en une fonction delta. Ceci est démontré pour un modèle gaussien général<ref name="Alemohammad-2023"/> dans la sous-section ci-dessous.

=== Modèle ND gaussien ===
De plus, dans le cas d'un modèle multidimensionnel avec des données entièrement synthétiques, un effondrement exact peut être démontré<ref name="Alemohammad-2023">Alemohammad, S., Casco-Rodriguez, J., Luzi, L., Humayun, A. I., Babaei, H., LeJeune, D., ... & Baraniuk, R. G. (2023). Self-consuming generative models go mad. arXiv preprint arXiv:2307.01850. | url=https://arxiv.org/abs/2307.01850</ref>{{,}}<ref name="Shumailov-2024"/>.

=== Régression linéaire ===
Dans le cas d'un modèle [[Régression linéaire|de régression linéaire]]<ref>{{Lien arXiv|last1=Dohmatob|first1=Elvis|last2=Feng|first2=Yunzhen|last3=Kempe|first3=Julia|date=2024-02-12|title=Model Collapse Demystified: The Case of Regression|eprint=2402.07712}}</ref>{{,}}<ref>{{Lien arXiv|last1=Dohmatob|first1=Elvis|title=A Tale of Tails: Model Collapse as a Change of Scaling Laws|date=2024-02-10|eprint=2402.07043|last2=Feng|first2=Yunzhen|last3=Yang|first3=Pu}}</ref>, des lois d'échelle et des limites sur l'apprentissage peuvent être trouvées.

=== Modèle de langage statistique ===
Dans le cas d'un classificateur [[Fonction softmax|softmax]] linéaire pour la prédiction du prochain jeton<ref>{{Lien arXiv|last=Seddik|first=Mohamed El Amine|title=How Bad is Training on Synthetic Data? A Statistical Analysis of Language Model Collapse|date=2024-04-07|eprint=2404.05090}}</ref>, des limites exactes sur l'apprentissage avec même un ensemble de données partiellement synthétique peuvent être trouvées.

== Impact sur les grands modèles de langage ==
Dans le contexte des [[Grand modèle de langage|grands modèles linguistiques]], les recherches ont montré que la formation des [[LLM]] sur du texte généré par un prédécesseur (les modèles linguistiques sont formés sur les données synthétiques produites par les modèles précédents) entraîne une diminution constante de la diversité lexicale, syntaxique et [[sémantique]] des résultats du modèle au fil des [[itération]]s successives, d'une manière particulièrement notable pour les tâches exigeant des niveaux élevés de créativité<ref>{{Lien arXiv|last=Guo|first=Yanzhu|title=The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text|date=2024-04-16|eprint=2311.09807}}</ref>.

== Références ==
{{Références}}

== Voir aussi ==
=== Bibliographie ===
* {{Article |langue=en |prénom1=Ilia |nom1=Shumailov |prénom2=Zakhar |nom2=Shumaylov |prénom3=Yiren |nom3=Zhao |prénom4=Nicolas |nom4=Papernot |titre=AI models collapse when trained on recursively generated data |périodique=Nature |volume=631 |numéro=8022 |pages=755–759 |date=2024-07 |issn=1476-4687 |doi=10.1038/s41586-024-07566-y |lire en ligne=https://www.nature.com/articles/s41586-024-07566-y |consulté le=2024-10-19}}.

{{Portail|Intelligence artificielle}}

[[Catégorie:Intelligence artificielle]]
[[Catégorie:Pages avec des traductions non relues]]