Voir la source de Réseau de neurones artificiels

{{Voir homonymes|Réseau de neurones (biologie)|Réseau (homonymie)}}
{{Infobox Méthode scientifique
| image = 
| légende = Vue simplifiée d'un réseau artificiel de neurones
}}
Un '''réseau de neurones artificiels'''<ref name="GDT">{{GDT|réseau de neurones artificiels|fiche=8386038|consulté le=28 janvier 2020}}.</ref>{{,}}<ref name="JORF">{{PDF}} [[Commission d'enrichissement de la langue française]], « Vocabulaire de l’intelligence artificielle (liste de termes, expressions et définitions adoptés) », [[Journal officiel de la République française|''Journal officiel'' de la République française]] {{numéro|0285}} du {{date-|9 décembre 2018}} {{lire en ligne|url=https://www.legifrance.gouv.fr/jo_pdf.do?id=JORFTEXT000037783813}}.</ref>, ou '''réseau neuronal artificiel'''<ref name="GDT" />, est un système informatique dont la conception est inspirée à l'origine du fonctionnement des [[neurone]]s mais qui, par la suite, s'est rapproché des méthodes statistiques<ref>{{harv|Gerstner|2006|p=3}}.</ref>.

Les réseaux de neurones artificiels sont généralement optimisés par des [[Apprentissage automatique|méthodes d'apprentissage]] de type probabiliste, en particulier [[Inférence bayésienne|bayésien]]. Ils sont placés d'une part dans la famille des applications [[statistique]]s, qu'ils enrichissent avec un ensemble de [[paradigme]]s<ref>Ces paradigmes correspondent aux différents types d'apprentissage par réseau neuronal, notamment les apprentissages supervisés ou non et l'apprentissage par renforcement.</ref> permettant de créer des classifications rapides ([[Carte auto adaptative|réseaux de Kohonen]] en particulier), et d'autre part dans la famille des méthodes de l'[[intelligence artificielle]] auxquelles ils fournissent un mécanisme [[perception|perceptif]] indépendant des idées propres de l'implémenteur, et des informations d'entrée au [[raisonnement]] logique formel (voir [[Apprentissage profond]]).

En modélisation des circuits biologiques, ils permettent de tester quelques hypothèses fonctionnelles issues de la [[neurophysiologie]], ou encore les conséquences de ces hypothèses pour les comparer au réel.

== Historique ==
Les réseaux neuronaux sont construits sur un [[paradigme]] [[biologie|biologique]], celui du [[neurone formel]] (comme les [[Algorithme génétique|algorithmes génétiques]] le sont sur la [[sélection naturelle]]). Ce type de [[métaphore]] biologique est devenu courant avec les idées de la [[cybernétique]] et [[biocybernétique]].

=== Neurone formel ===
Les neurologues [[Warren McCulloch]] et [[Walter Pitts]] publient à la fin des années 1950 des travaux sur les réseaux de neurones, dont on retient l'article fondateur « What the frog’s eye tells the frog’s brain » (« Ce que l'œil d'une grenouille dit au cerveau d'une grenouille »)<ref>{{Article |prénom1=J. |nom1=Lettvin |prénom2=H. |nom2=Maturana |prénom3=W. |nom3=McCulloch |prénom4=W. |nom4=Pitts |titre=What the Frog's Eye Tells the Frog's Brain |périodique=Proceedings of the IRE |volume=47 |numéro=11 |pages=1940–1951 |date=1959-11 |issn=0096-8390 |doi=10.1109/JRPROC.1959.287207 |consulté le=2024-07-09}}.</ref>. Ils construisent un modèle de neurone, communément appelé [[neurone formel]], et montrent que des réseaux de neurones formels simples peuvent théoriquement réaliser des fonctions [[logique]]s, [[arithmétique]]s et [[symbolique]]s complexes.
[[Fichier:Artificial_neuron_or.png|vignette|Représentation d'un [[neurone formel]] (ou logique)]]
Le neurone formel est conçu comme un [[automate]] doté d'une [[fonction de transfert]] qui transforme ses entrées en sortie selon des règles précises. Par exemple, un neurone additionne ses valeurs d'entrée, compare la somme résultante à une valeur de seuil, et émet un signal si cette somme est supérieure ou égale au seuil (modèle ultra-simplifié du fonctionnement d'un neurone biologique). Ces neurones sont par ailleurs associés en réseaux dont la [[topologie]] des connexions est variable : ''réseaux proactifs, récurrents'', etc. Enfin, l'efficacité de la  transmission des signaux d'un neurone à l'autre peut varier : on parle de ''poids synaptique'' susceptibles d'être modulés par des règles d'apprentissage (ce qui mime la [[plasticité synaptique]] des réseaux biologiques).

Une fonction des réseaux de neurones formels, à l'instar du modèle vivant, est d'opérer rapidement des classifications et d'apprendre à les améliorer. À l'opposé des méthodes traditionnelles de résolution [[informatique]], on ne doit pas construire un [[programme informatique|programme]] pas à pas en fonction de la compréhension de celui-ci. Les paramètres importants de ce modèle sont les coefficients [[synapse|synaptiques]] et le seuil de chaque neurone, et la façon de les ajuster. Ce sont eux qui déterminent l'évolution du réseau en fonction de ses informations d'entrée. Il faut choisir un mécanisme permettant de les calculer et de les faire converger si possible vers une valeur assurant une classification aussi proche que possible de l'optimale. C'est ce qu'on nomme la phase d'apprentissage du réseau. Dans un modèle de réseaux de neurones formels, apprendre revient donc à déterminer les coefficients synaptiques les plus adaptés à classifier les exemples présentés.

=== Premiers réseaux ===
{{Article détaillé|Perceptron|Réseau de neurones de Hopfield}}
[[Warren McCulloch]] (qui veut « comprendre comment on comprend ») et [[Walter Pitts]] publient en 1943 l'un des articles considéré comme ayant lancé la mode de l'intelligence artificielle : {{article|auteur1=|titre=A logical calculus of the ideas immanent in nervous activity|périodique=Bulletin of Mathematical Biophysics|pages=|date=1943|lire en ligne=https://acrobat.adobe.com/id/urn:aaid:sc:EU:3c7b75d3-d749-4fc5-a386-b8baf7e474fe}}. Ils considèrent que le fonctionnement des neurones naturels évoque celui des [[Porte logique|portes logiques]] en électronique. Mais ils ne donnent pas d'indication méthodologique pour calculer la valeur des « coefficients synaptiques ». Cette question est pourtant au cœur des réflexions sur l'apprentissage, et connait un début de réponse grâce aux travaux du [[physiologie|physiologiste]] canadien [[Donald Hebb]] en 1949 (''The Organization of Behaviour''<ref>{{Ouvrage|langue=en|auteur1=Donald O. Hebb|titre=The Organization of Behavior|sous-titre=A Neuropsychological Theory|éditeur=[[John Wiley & Sons|Wiley]]|collection=Wiley book in clinical psychology|année=1966}}.</ref>). Donald Hebb propose une règle permettant d'adapter la valeur des « coefficients synaptiques » à l'activité des unités qu'ils relient. Cette règle, connue sous le nom de « [[règle de Hebb]] », est présente presque partout dans les modèles actuels, même les plus sophistiqués.

[[Image:RecurrentLayerNeuralNetwork.png|vignette|Réseau de neurones avec rétroaction]]

L'idée de « coefficients synaptiques » qui s'auto-adaptent amène le psychologue [[Frank Rosenblatt]] à proposer en 1958 le modèle du [[perceptron]]<ref name="Rosenblatt 1958">{{article|langue=en|prénom1=Frank|nom1=Rosenblatt|titre=The perceptron: A probabilistic model for information storage and organization in the brain|journal=Psychological Review|volume=10|numéro=9|année=1958|doi=10.1037/h0042519|pages=386–408}}.</ref>. C'est le premier système artificiel capable d'apprendre par expérience, y compris quand son instructeur commet des erreurs (ce en quoi il diffère nettement d'un système d'apprentissage logique formel). Les médias américains, dont le [[The New York Times|''New York Times'']], publient une vague d'articles enthousiastes et annoncent pour bientôt une machine capable de tout reconnaitre, de penser, de marcher, se reproduire. Certains déclarent que le perceptron pourra bientôt faire de l'[[exploration spatiale]]. Le magazine ''Science'' dit que le perceptron pourra apprendre, prendre des décisions et traduire des langues<ref name=FranceCulture20avril2024>{{Lien web |langue=fr |titre=Neurone et IA : La bonne connexion ? |url=https://www.radiofrance.fr/franceculture/podcasts/sciences-chrono/neurone-et-ia-la-bonne-connexion-5706823 |site=[[France Culture]] |date=2024-04-20 |consulté le=2024-04-20}}.</ref>.

[[Warren McCulloch]], interviewé par [[Radio Canada]] en 1969 (peu avant son décès), explique que : {{bloc citation|les machines informatiques pensent avec un langage qui est celui des nombres ; nous transformons tout en chiffre pour les faire fonctionner. Elles sont nulles en matière de perception. Elles n'ont pas de langage naturel sous-jacent, comme nous ou les animaux. Lorsqu'on veut les faire développer un modèle de monde autour d'elles-mêmes, on s'aperçoit que ce n'est pas le bon dispositif. <br>Vous voulez qu'elles jouent aux échecs, très bien. Notre programme de jeux d'échec au MIT est déjà un joueur de {{2e|rang}} ; dans un an je pense qu'il sera de {{1er|rang}} ; ce sera pas un maitre au bout d'un an mais dans six ans environ. Dans six ans, il deviendra une technologie de {{1er|rang}} qu'aucun humain ne pourra dépasser. <br>Je souhaite que ca aille plus loin, et ça ira plus loin, car nous pouvons réduire ces choses là à des nombres<ref name=FranceCulture20avril2024/>.}}

Cette même année 1969, un coup d'arrêt est donné à cette piste par [[Marvin Minsky|Marvin Lee Minsky]] et [[Seymour Papert]], qui estiment qu'imiter le cerveau est trop complexe. Ces derniers co-publient un ouvrage conséquent, pédagogique et apparemment complet, intitulé ''Perceptrons''<ref>{{Ouvrage|langue=en|prénom1=Marvin|nom1=Minsky|prénom2=Seymour|nom2=Papert|titre=Perceptrons|année=1969|pages totales=258|isbn=0-262-13043-2}}.</ref>, mettant en exergue certaines des limitations théoriques, selon eux insurmontables, du perceptron, et plus généralement des [[classifieur linéaire|classifieurs linéaires]] ; ces deniers ne peuvent pas traiter des problèmes [[Effets non linéaires|non linéaires]] ou de connexité (par exemple, le cas de la [[Fonction OU exclusif|fonction XOR]])<ref>{{Ouvrage|auteur1=Marvin Lee Minsky|auteur2=Seymour Papert|titre=Perceptrons|sous-titre=An Introduction to Computational Geometry|éditeur=Cambridge|année=1988|pages totales=292|isbn=978-0-262-63111-2}}.</ref>. Minsky et Paperts étendent implicitement ces limitations à tous modèles de réseaux de neurones artificiels. Paraissant alors dans une impasse, la Recherche sur les réseaux de neurones perd l'essentiel de ses financements publics, et le secteur [[industrie]]l s'en détourna aussi. Les fonds destinés à l'[[intelligence artificielle]] furent redirigés plutôt vers la [[logique formelle]]<!-- Je trouve que cette phrase est un jugement de valeur un peu dur. Comment peut on dire que la recherche a piétiné, sur quoi se base-t-on pour dire cela ? Le nombre de publication ? De brevets ?  --><ref name="Bishop06">[[#Bishop06|Bishop (2006)]], {{p.}}193.</ref>. Cependant, les solides qualités de certains réseaux de neurones en matière adaptative (exemple : [[ADALINE|Adaline]]), leur permettant de modéliser de façon évolutive des phénomènes eux-mêmes évolutifs, les amèneront à être intégrés sous des formes plus ou moins explicites dans le corpus des systèmes adaptatifs; utilisés dans le domaine des télécommunications ou celui du contrôle de processus industriels.

En 1982, [[John Joseph Hopfield]] donne un nouveau souffle à la métaphore neuronale avec son article introduisant un nouveau modèle de réseau de neurones dit [[Réseau de neurones de Hopfield|de Hopfield]]<ref>Hopfield, J. J. Proc. natn. Acad. Sci. U.S.A. '''79''', 2554–2558 (1982).</ref>. L'article connait le succès pour plusieurs raisons, dont la principale est de teinter la [[théorie des réseaux]] de neurones de la rigueur propre aux physiciens. Le neuronal redevient un sujet d'étude acceptable, bien que le modèle souffre des limitations des modèles des [[années 1960]], notamment l'impossibilité de traiter les problèmes non linéaires.

=== Perceptron multicouche ===
{{Article détaillé|Perceptron multicouche}}
En 1970, [[Seppo Linnainmaa]] publie la méthode générale de [[dérivation automatique]] (DA) des réseaux connectés discrets de fonctions différentiables imbriquées. En 1973, Dreyfus utilise la [[Rétropropagation du gradient|rétropropagation]] pour adapter les paramètres des contrôleurs proportionnellement aux gradients d'erreur.

L'algorithme de [[rétropropagation du gradient]] est formellement établi par Paul Werbos en 1974<ref>{{Ouvrage |langue=en |prénom1=Paul J. |nom1=Werbos |titre=The roots of backpropagation : from ordered derivatives to neural networks and political forecasting |éditeur=Wiley |année=1994 |isbn=0-471-59897-6 |isbn2=978-0-471-59897-8 |oclc=28337564 |lire en ligne=https://www.worldcat.org/oclc/28337564 |consulté le=2022-02-19 |commentaire=Le livre contient une republication de la thèse ainsi que des informations additionnelles.}}</ref>, et permet l'entraînement pratique des réseaux multicouches. En 1982, il a appliqué la méthode AD de Seppo Linnainmaa aux réseaux neuronaux de la manière qui est devenue largement utilisée<ref>{{Article |langue=en |prénom1=Juergen |nom1=Schmidhuber |titre=Deep Learning |périodique=Scholarpedia |volume=10 |numéro=11 |date=2015 |issn=1941-6016 |doi=10.4249/scholarpedia.32832 |lire en ligne=http://www.scholarpedia.org/article/Deep_Learning |consulté le=2022-02-19 |pages=32832}}.</ref>{{,}}<ref>{{Chapitre |langue=en |prénom1=Paul J. |nom1=Werbos |titre chapitre=Applications of advances in nonlinear sensitivity analysis |titre ouvrage=System Modeling and Optimization |éditeur=Springer-Verlag |isbn=3-540-11691-5 |lire en ligne=http://dx.doi.org/10.1007/bfb0006203 |consulté le=2022-02-19 |passage=762–770}}.</ref>. Son application est popularisé dans le [[Perceptron multicouche|perceptron multi-couche]] développé en 1986 par David Rumelhart, Ronald J. Williams et [[Geoffrey Hinton]]<ref>{{Article |langue=en |prénom1=David E. |nom1=Rumelhart |prénom2=Geoffrey E. |nom2=Hinton |prénom3=Ronald J. |nom3=Williams |titre=Learning representations by back-propagating errors |périodique=Nature |volume=323 |numéro=6088 |date=1986-10 |issn=0028-0836 |issn2=1476-4687 |doi=10.1038/323533a0 |lire en ligne=http://www.nature.com/articles/323533a0 |consulté le=2022-02-19 |pages=533–536}}.</ref>.

Les réseaux de neurones connaissent par la suite un essor considérable, dû en partie au développement de l'[[électronique numérique]] qui fournit davantage de [[puissance de calcul]] pour le développement de réseaux neuronaux artificiels dans les années 1980.

{{Référence souhaitée|Ces systèmes bénéficieront de l'éclairage de la théorie de la « régularisation statistique » introduite par [[Vladimir Vapnik]] en Union soviétique et popularisée en Occident depuis la chute du mur.|date=19 février 2022}} Cette théorie, l'une des plus importantes du domaine des [[statistique]]s, permet d'anticiper, d'étudier et de réguler les phénomènes liés au [[surapprentissage]]. Le surapprentissage est une difficulté à laquelle doivent faire face tous les systèmes d'apprentissage par l'exemple, que ceux-ci utilisent des méthodes d'[[Algorithme d'optimisation|optimisation]] directe (exemple : [[régression linéaire]]), itératives (exemple : l'[[algorithme du gradient]]), ou itératives semi-directes ([[gradient conjugué]], [[Algorithme espérance-maximisation|espérance-maximisation]]...) et que ceux-ci soient appliqués aux modèles statistiques classiques, aux [[Modèle de Markov caché|modèles de Markov cachés]] ou aux réseaux de neurones formels<ref>{{Article |langue=en |prénom1=Yassine |nom1=Mahdi| prénom2=Kamel |nom2=Daoud |lien auteur2=Kamel Daoud (scientifique) |titre=Microdroplet Size Prediction in Microfluidic Systems via Artificial Neural Network Modelling for Water-In-oil Emulsion Formulation |périodique=Journal of Dispersion Science and Technology |volume=0 |numéro=ja |date=2016-11-11 |issn=0193-2691 |doi=10.1080/01932691.2016.1257391|lire en ligne=https://dx.doi.org/10.1080/01932691.2016.1257391 |consulté le=2016-12-07 |pages=null}}.</ref>.

==== Réseau neuronal convolutif ====
{{Article détaillé|Réseau neuronal convolutif|Apprentissage profond}}
Les réseaux de neurones évoluent avec un nouveau type de réseau non complètement connecté, pour alléger les modèles en nombre de paramètres, et améliorer les performances et leur capacité de généralisation. Une des premières applications a été la reconnaissance automatique des codes postaux aux [[États-Unis]], avec le réseau LeNet-5<ref>{{Lien web |langue=en-GB |titre=LeNet-5 - A Classic CNN Architecture |url=https://engmrk.com/lenet-5-a-classic-cnn-architecture/ |site=engMRK |date=2018-09-30 |consulté le=2020-12-05}}.</ref>. En apprentissage automatique, un réseau de neurones convolutifs ou réseau de neurones à convolution (en anglais CNN ou ConvNet pour Convolutional Neural Networks) est un type de réseau de neurones artificiels acycliques (feed-forward), dans lequel le motif de connexion entre les neurones est inspiré par le [[cortex visuel]] des animaux. Les neurones de cette région du cerveau sont arrangés de sorte qu'ils correspondent à des régions qui se chevauchent lors du pavage du champ visuel. Leur fonctionnement est inspiré par les processus biologiques, ils consistent en un empilage multicouche de perceptrons, dont le but est de prétraiter de petites quantités d'informations. Les réseaux neuronaux convolutifs ont de larges applications dans la reconnaissance d'image et vidéo, les systèmes de recommandation et le traitement du langage naturel.

=== Réseau de neurones à impulsions ===
{{Section vide ou incomplète}}

== Utilisation ==

Grâce à leur capacité de classification et de généralisation, les réseaux de neurones sont généralement utilisés dans des problèmes de nature statistique.

Les réseaux de neurones sont réellement utilisés, par exemple<ref name=":0">{{Lien web |langue=fr |titre=Introduction aux réseauxde Neurones Convolutifs |url=https://www.college-de-france.fr/media/stephane-mallat/UPL404187468079740283_Cours1_College2020.pdf |site=www.college-de-france.fr |consulté le=2020-01-22}}.</ref> :
* pour la classification d'espèces animales par espèce étant donné une analyse ADN ;
* classification d'image<ref name=":0" /> :
** [[reconnaissance de motif]] ; par exemple pour la [[reconnaissance optique de caractères]] (OCR), et notamment par les banques pour vérifier le montant des chèques, par [[La Poste (France)|La Poste]] pour trier le courrier en fonction du code postal, etc. ; ou bien encore pour le déplacement automatisé de robots mobiles autonomes ;
* approximation d'une fonction inconnue ;
* modélisation accélérée d'une fonction connue mais très complexe à calculer avec exactitude ; par exemple certaines fonctions d'inversions utilisées pour décoder les signaux de télédétection émis par les satellites et les transformer en données sur la surface de la mer ;
* estimations de [[série temporelle]] :
** analyse des données d'un capteur<ref>{{article|prénom=Josef|nom=Gessler|titre=Sensor for Food Analysis Applying Impedance Spectroscopy and Artificial Neural Networks|journal=RiuNet UPV|numéro=1|date=août 2021|url=https://riunet.upv.es/handle/10251/174498|pages=8–12}}.</ref> ;
** reconnaissance de la parole, reconnaissance de musique<ref name=":0" /> ;
* modélisation de système chaotique :
** en météorologie, pour la classification de conditions atmosphériques et la prévision statistique du temps ;
** en auscultation des ouvrages hydrauliques, pour la compréhension physique des phénomènes de déplacements, sous-pressions et débits de fuite.

== Modèle ==
=== Structure du réseau ===
{{Section à sourcer|date=août 2021}}
[[Image:ArtificialNeuronModel francais.png|vignette|Structure d'un neurone artificiel ou neurone formel. Le neurone calcule la somme de ses entrées x, pondérée par les poids w, puis cette valeur passe à travers la fonction d'activation phi pour produire sa sortie o.]]

Un réseau de neurones est en général composé d'une succession de couches dont chacune prend ses entrées sur les sorties de la précédente. Chaque couche (i) est composée de N<sub>i</sub> neurones, prenant leurs entrées sur les N<sub>i-1</sub> neurones de la couche précédente. À chaque [[synapse]] est associé un poids synaptique, de sorte que les N<sub>i-1</sub> sont multipliés par ce poids, puis additionnés par les neurones de niveau i, ce qui est équivalent à multiplier le vecteur d'entrée par une matrice de transformation. Mettre l'une derrière l'autre les différentes couches d'un réseau de neurones reviendrait à mettre en cascade plusieurs matrices de transformation et pourrait se ramener à une seule matrice, produit des autres, s'il n'y avait à chaque couche, la fonction de sortie qui introduit une non linéarité à chaque étape. Ceci montre l'importance du choix judicieux d'une bonne fonction de sortie : un réseau de neurones dont les sorties seraient linéaires n'aurait aucun intérêt.

Au-delà de cette structure simple, le réseau de neurones peut également contenir des boucles qui en changent radicalement les possibilités mais aussi la complexité. De la même façon que des boucles peuvent transformer une [[Logique combinatoire (électronique)|logique combinatoire]] en [[logique séquentielle]], les boucles dans un réseau de neurones transforment un simple dispositif de reconnaissance d'entrées en une machine complexe capable de toutes sortes de comportements.

=== Fonction de combinaison ===
Considérons un neurone quelconque.

Il reçoit des neurones en amont un certain nombre de valeurs via ses connexions synaptiques, et il produit une certaine valeur en utilisant une fonction de combinaison.
Cette fonction peut donc être formalisée comme étant une fonction [[vecteur]]-à-[[scalaire]], notamment :
* les réseaux de type MLP (''multi-layer perceptron'') calculent une combinaison linéaire des entrées, c'est-à-dire que la fonction de combinaison renvoie le produit scalaire entre le vecteur des entrées et le vecteur des poids synaptiques ;
* les réseaux de type RBF (''radial basis function'') calculent la distance entre les entrées, c'est-à-dire que la fonction de combinaison renvoie la norme euclidienne du vecteur issu de la différence vectorielle entre les vecteurs d'entrées.

=== Fonction d'activation ===
La fonction d'activation (ou fonction de seuillage ou encore fonction de transfert) sert à introduire une non-linéarité dans le fonctionnement du neurone.

Les fonctions de seuillage présentent généralement trois intervalles :
# En dessous du seuil, le neurone est non-actif (souvent dans ce cas, sa sortie vaut 0 ou -1) ;
# Aux alentours du seuil, une phase de transition ;
# Au-dessus du seuil, le neurone est actif (souvent dans ce cas, sa sortie vaut 1).

Des exemples classiques de fonctions d'activation sont :
# La fonction [[Sigmoïde (mathématiques)|sigmoïde]] ;
# La fonction [[Fonction hyperbolique|tangente hyperbolique]] ;
# La fonction de [[Fonction de Heaviside|Heaviside]] ;
# La fonction [[Redresseur (réseaux neuronaux)|ReLU]] (Rectified Linear Unit).

La logique bayésienne, dont le [[théorème de Cox-Jaynes]] formalise les questions d'apprentissage, fait intervenir aussi une fonction en S qui revient de façon récurrente : <math>ev(p) = 10 \log \left(\frac{p}{1-p}\right)</math>

=== Propagation de l'information ===
Ce calcul effectué, le neurone propage son nouvel état interne sur son axone.
Dans un modèle simple, la fonction neuronale est simplement une fonction de seuillage : elle vaut 1 si la somme pondérée dépasse un certain seuil ; 0 sinon.
Dans un modèle plus riche, le neurone fonctionne avec des nombres réels (souvent compris dans l'intervalle [0,1] ou [-1,1]).
On dit que le réseau de neurones passe d'un état à un autre lorsque tous ses neurones recalculent en parallèle leur état interne, en fonction de leurs entrées.

== Apprentissage ==
=== Base théorique ===
[[Fichier:Joseph Ayerle portrait of Ornella Muti (detail), calculated by Artificial Intelligence (AI) technology.jpg|vignette|Une œuvre de l'artiste Joseph Ayerle, montrant le visage de l'actrice [[Ornella Muti]], calculée par un réseau neuronal artificiel. Ce réseau a reçu un apprentissage de façon à « peindre » à la façon de l'artiste [[Raphaël (peintre)|Raphaël]].]]
L'apprentissage, connue déjà depuis [[Sumer]], est peu modélisable par la [[Logique classique|logique déductive]] : cette dernière procède à partir de connaissances déjà établies dont on tire des connaissances dérivées. Or l'apprentissage emploie la démarche inverse : des observations limitées mènent à des généralisations plausibles, suivant une [[induction|logique inductive]].

La notion de généralisation est traitée de façon plus ou moins complète par plusieurs approches théoriques.
* La généralisation est traitée de façon globale et générique par la théorie de la régularisation statistique introduite par [[Vladimir Vapnik]]. Cette théorie, développée à l'origine en Union soviétique, s'est diffusée en Occident depuis la chute du mur de Berlin. La théorie de la régularisation statistique s'est diffusée très largement parmi ceux qui étudient les réseaux de neurones en raison de la forme générique des courbes d'erreurs résiduelles d'apprentissage et de généralisation issues des procédures d'apprentissage itératives telles que les descentes de gradient utilisées pour l'optimisation des [[Perceptron_multicouche|perceptrons multi-couches]]. Ces formes génériques correspondent aux formes prévues par la théorie de la régularisation statistique ; cela vient du fait que les procédures d'apprentissage par descente de gradient, partant d'une configuration initiale des poids synaptiques ''explorent'' progressivement l'espace des poids synaptiques possibles ; on retrouve alors la problématique de l'augmentation progressive de la capacité d'apprentissage, concept fondamental au cœur de la théorie de la régularisation statistique.
* La généralisation est aussi au cœur de l'approche de l'[[inférence bayésienne]], enseignée depuis plus longtemps. Le [[théorème de Cox-Jaynes]] fournit ainsi une base importante à un tel apprentissage, en nous apprenant que toute méthode d'apprentissage est ''soit isomorphe aux probabilités munies de la relation de Bayes, soit incohérente''. C'est là un résultat extrêmement fort, et c'est pourquoi les méthodes bayésiennes sont largement utilisées dans le domaine.
* Dans le cas des systèmes d'apprentissage statistique, utilisés pour optimiser les modèles statistiques classiques, réseaux de neurones artificiels et automates markoviens, c'est la généralisation qui est l'objet de toute l'attention.

=== Classe de problèmes solubles ===
{{Article détaillé|Théorème d'approximation universelle}}

En fonction de la structure du réseau, différents types de fonction sont approchables grâce aux réseaux de neurones :

==== Fonctions représentables par un perceptron ====
Un perceptron (un réseau à une unité) accepte les fonctions booléennes suivantes : [[Fonction ET|ET]], [[Fonction OU|OU]], [[Fonction NON-ET|NON-ET]], [[Fonction NON-OU|NON-OU]] mais pas le [[Fonction OU exclusif|OU-exclusif]]. Comme toute fonction booléenne est représentable à l'aide de ces fonctions, un réseau de perceptrons est capable de représenter toutes les fonctions booléennes. En effet les fonctions NON-ET et NON-OU sont dites universelles : on peut par combinaison de l'une de ces fonctions représenter toutes les autres.

==== Fonctions représentables par des réseaux de neurones multicouches acycliques ====

* Fonctions booléennes : toutes les fonctions booléennes sont représentables par un réseau à deux couches. Au pire des cas, le nombre de neurones de la couche cachée augmente de manière exponentielle en fonction du nombre d'entrées.
* Fonctions continues : toutes les fonctions continues bornées sont représentables, avec une précision arbitraire, par un réseau à deux couches (Cybenko, 1989). Ce théorème s'applique au réseau dont les neurones utilisent la [[Sigmoïde (mathématiques)|sigmoïde]] dans la couche cachée et des neurones linéaires (sans seuil) dans la couche de sortie. Le nombre de neurones dans la couche cachée dépend de la fonction à approximer.
* Fonctions arbitraires : n'importe quelle fonction peut être approximée avec une précision arbitraire grâce à un réseau à trois couches (théorème de Cybenko, 1988).

=== Algorithme ===

La large majorité des réseaux de neurones possède un algorithme « d’entraînement » qui consiste à modifier les poids synaptiques en fonction d'un jeu de données présentées en entrée du réseau, par [[descente de gradient]]. Le but de cet entraînement est de permettre au réseau de neurones d'« apprendre » à partir des exemples. Si l'entraînement est correctement réalisé, le réseau est capable de fournir des réponses en sortie très proches des valeurs d'origine du jeu de données d'entraînement. Mais tout l'intérêt des réseaux de neurones réside dans leur capacité à généraliser à partir du jeu de test. Il est donc possible d'utiliser un réseau de neurones pour réaliser une mémoire ; on parle alors de mémoire neuronale.

La vision [[Espace topologique|topologique]] d'un apprentissage correspond à la détermination de l'[[hypersurface]] sur <math>\mathbb{R}^n</math> où <math>\mathbb{R}</math> est l'[[nombre réel|ensemble des réels]], et <math>n</math> le nombre d'entrées du réseau.

=== Apprentissage ===
==== Mode supervisé ou non ====

Un apprentissage est dit ''[[apprentissage supervisé|supervisé]]'' lorsque le réseau est forcé à converger vers un état final précis, en même temps qu'un motif lui est présenté.

À l'inverse, lors d'un apprentissage non-supervisé, le réseau est laissé libre de converger vers n'importe quel état final lorsqu'un motif lui est présenté.

==== Surapprentissage ====

Il arrive souvent que les exemples de la base d'apprentissage comportent des valeurs approximatives ou bruitées. Si on oblige le réseau à répondre de façon quasi parfaite relativement à ces exemples, on peut obtenir un réseau qui est biaisé par des valeurs erronées.

Par exemple, imaginons qu'on présente au réseau des couples <math>(x_i, f(x_i))</math> situés sur une droite d'équation <math>y=ax+b</math>, mais bruités de sorte que les points ne soient pas exactement sur la droite. S'il y a un bon apprentissage, le réseau répond <math>ax+b</math> pour toute valeur de <math>x</math> présentée. S'il y a [[surapprentissage]], le réseau répond un peu plus que <math>ax+b</math> ou un peu moins, car chaque couple <math>(x_i, f(x_i))</math> positionné en dehors de la droite va influencer la décision : il aura appris le bruit en plus, ce qui n'est pas souhaitable.

Pour éviter le surapprentissage, il existe une méthode simple : il suffit de partager la base d'exemples en deux sous-ensembles. Le premier sert à l'apprentissage et le second sert à l'évaluation de l'apprentissage. Tant que l'erreur obtenue sur le deuxième ensemble diminue, on peut continuer l'apprentissage, sinon on arrête.

=== Rétropropagation ===

La [[rétropropagation]] consiste à rétropropager l'erreur commise par un neurone à ses synapses et aux neurones qui y sont reliés. Pour les réseaux de neurones, on utilise habituellement la ''rétropropagation du gradient de l'erreur'', qui consiste à corriger les erreurs selon l'importance des éléments qui ont justement participé à la réalisation de ces erreurs : les poids synaptiques qui contribuent à engendrer une erreur importante se verront modifiés de manière plus significative que les poids qui ont engendré une erreur marginale.

=== Élagage ===

L'élagage (''pruning'', en anglais) est une méthode qui permet d'éviter le [[surapprentissage]] tout en limitant la complexité du modèle. Elle consiste à supprimer des connexions (ou synapses), des entrées ou des neurones du réseau une fois l'apprentissage terminé. En pratique, les éléments qui ont la plus petite influence sur l'erreur de sortie du réseau sont supprimés. Deux exemples d'algorithmes d'élagage sont :
* Optimal brain damage (OBD) de [[Yann LeCun]] ''et al. ;''
* Optimal brain surgeon (OBS) de B. Hassibi et D. G. Stork.

=== Limites ===
{{Section à sourcer|date=août 2021}}
Les réseaux de neurones artificiels ont besoin de cas réels servant d'exemples pour leur apprentissage (on appelle cela la ''base d'apprentissage''). Ces cas doivent être d'autant plus nombreux que le problème est complexe et que sa topologie est peu structurée. Ainsi on peut optimiser un système neuronal de lecture de caractères en utilisant le découpage manuel d'un grand nombre de mots écrits à la main par de nombreuses personnes. Chaque caractère peut alors être présenté sous la forme d'une image brute, disposant d'une topologie spatiale à deux dimensions, ou d'une suite de segments presque tous liés. La topologie retenue, la complexité du phénomène modélisé, et le nombre d'exemples doivent être en rapport. Sur un plan pratique, cela n'est pas toujours facile car les exemples peuvent être soit en quantité absolument limitée ou trop onéreux à collecter en nombre suffisant.

Il y a des problèmes qui se traitent bien avec les réseaux de neurones, en particulier ceux de ''classification'' en ''domaines convexes'' (c'est-à-dire tels que si des points A et B font partie du domaine, alors tout le segment AB en fait partie aussi). Des problèmes comme « Le nombre d'entrées à 1 (ou à zéro) est-il pair ou impair ? » se résolvent en revanche mal : pour affirmer de telles choses sur 2 puissance N points, si on se contente d'une approche naïve mais homogène, il faut précisément N-1 couches de neurones intermédiaires, ce qui nuit à la généralité du procédé.

Un exemple caricatural, mais significatif est le suivant : disposant en entrée du seul poids d'une personne, le réseau doit déterminer si cette personne est une femme ou bien un homme. Les femmes étant statistiquement plus légères que les hommes, le réseau fera toujours un peu mieux qu'un simple tirage au hasard : cet exemple dépouillé indique la simplicité et les limitations de ces modèles mais il montre également comment l'étendre : l'information « port d'une jupe », si on l'ajoute, aurait clairement un coefficient synaptique plus grand que la simple information de poids.

==== Opacité ====
Les réseaux complexes de neurones artificiels ne peuvent généralement pas expliquer eux-mêmes leur façon de « penser ». Les calculs aboutissant à un résultat ne sont pas visibles pour les programmeurs qui ont créé le réseau neuronal<ref name="Appenzeller2017">Appenzeller Tim (2017), [http://www.sciencemag.org/news/2017/07/ai-revolution-science ''The AI revolution in science''], Science Niews, 7 juillet .</ref>. Une {{Citation|neuroscience de l'intelligence artificielle}} a donc été créée pour étudier la boîte noire que constituent les réseaux de neurones, science qui pourrait permettre d'augmenter la confiance dans les résultats produits par ces réseaux ou les intelligences artificielles qui les utilisent<ref name="Appenzeller2017" />.

==== Optimisation ====
L'optimisation des hyperparamètres est une étape complexe et critique permettant d'assurer la convergence et l'efficacité du réseau de neurones. Il existe des méthodes de test des différents hyperparamètres utilisant des [[fonction de test pour l'optimisation|fonctions spécifiques]] de convergence vers les meilleurs hyperparamètres.

== Différents types de réseaux de neurones ==

L'ensemble des poids des liaisons synaptiques détermine le fonctionnement du réseau de neurones. Les motifs sont présentés à un sous-ensemble du réseau de neurones : la couche d'entrée. Lorsqu'un motif est appliqué à un réseau, celui-ci cherche à atteindre un état stable. Lorsqu'il est atteint, les valeurs d'activation des neurones de sortie constituent le résultat. Les neurones qui ne font ni partie de la couche d'entrée ni de la couche de sortie sont dits ''neurones cachés''.

Les types de réseau de neurones diffèrent par plusieurs paramètres :
* la [[topologie]] des connexions entre les neurones ;
* la fonction d'agrégation utilisée (somme pondérée, distance pseudo-euclidienne…) ;
* la fonction de seuillage utilisée ([[Sigmoïde (mathématiques)|sigmoïde]], échelon, [[fonction linéaire]], [[fonction de Gauss]]…) ;
* l'algorithme d'apprentissage ([[rétropropagation du gradient]], cascade correlation) ;
* d'autres paramètres, spécifiques à certains types de réseaux de neurones, tels que la méthode de relaxation pour les réseaux de neurones (réseaux de Hopfield par exemple) qui ne sont pas à propagation simple (perceptron multicouche par exemple).

De nombreux autres paramètres sont susceptibles d'être mis en œuvre dans le cadre de l'apprentissage de ces réseaux de neurones par exemple :
* la méthode de dégradation des pondérations (''[[weight decay]]''), permettant d'éviter les effets de bord et de neutraliser le surapprentissage.

=== Réseaux à apprentissages supervisés ===
==== Sans rétropropagation ====
===== Perceptron =====
{{article détaillé|Perceptron}}

===== ADALINE (''Adaptive Linear Neuron'') =====

Le réseau [[ADALINE]] est proche du modèle [[perceptron]], seule sa fonction d'activation est différente puisqu'il utilise une fonction linéaire. Afin de réduire les parasites reçus en entrée, les réseaux ADALINE utilisent la [[méthode des moindres carrés]].

Le réseau réalise une somme pondérée de ses valeurs d'entrées et y rajoute une valeur de seuil prédéfinie. La fonction de transfert linéaire est ensuite utilisée pour l'activation du neurone. Lors de l'apprentissage, les coefficients synaptiques des différentes entrées sont modifiés en utilisant la loi de {{Lien|Delta_rule|lang=en|texte=Widrow-Hoff}}. Ces réseaux sont souvent employés en traitement de signaux<ref>Mohan Mokhtari, Michel Marie '''Applications de MATLAB 5 et SIMULINK 2 : Contrôle de procédés, Logique floue, Réseaux de neurones, Traitement du signal'', Springer-Verlag, Paris, 1998 {{ISBN|978-2-287-59651-3}}.</ref>, notamment pour la réduction de bruit.

===== Machine de Cauchy =====

Une machine de Cauchy est un réseau de neurones artificiels assez proche dans le fonctionnement d'une [[Machine de Boltzmann restreinte|machine de Boltzmann]]. Cependant les lois de probabilités utilisées ne sont pas les mêmes<ref>https://bib.irb.hr/datoteka/244548.Paper_830.pdf.</ref>.

===== Non détaillés =====
# Adaptive heuristic critic (AHC)
# Time delay neural network (TDNN)
# Associative reward penalty (ARP)
# Avalanche matched filter (AMF)
# Backpercolation (Perc)
# Artmap
# Adaptive logic network (ALN)
# Cascade correlation (CasCor)
# Extended Kalman filter (EKF)
# Learning vector quantization (LVQ)
# Probabilistic neural network (PNN)
# General regression neural network (GRNN)

==== Avec rétropropagation ====
* [[Réseau Neuronal Convolutif|Réseau neuronal à convolution]] (CNN)

===== Perceptron multicouche =====
{{article détaillé|Perceptron multicouche}}

===== Non détaillés =====
# Brain-State-in-a-Box (BSB)
# Fuzzy cognitive map (FCM)
# Mean field annealing (MFT)
# Recurrent cascade correlation (RCC)
# Backpropagation through time (BPTT)
# Real-time recurrent learning (RTRL)
# Recurrent extended Kalman filter (EKF)

=== Réseaux à apprentissage non supervisé ===
==== Avec rétropropagation ====
# [[Carte auto adaptative]]
# [[Machine de Boltzmann restreinte]] (RBM)
# [[Codage parcimonieux]]

===== Non détaillés =====
# Additive Grossberg (AG)
# Shunting Grossberg (SG)
# Binary adaptive resonance theory (ART1)
# Analog adaptive resonance theory (ART2, ART2a)
# Discrete Hopfield (DH)
# Continuous Hopfield (CH)
# Chaos fractal<ref>Teuvo Kohonen, ''Content-addressable Memories'', Springer-Verlag, 1987, {{ISBN|978-0-387-17625-3}}, 388 pages.</ref>{{,}}<ref>Pribram, Karl (1991). ''Brain and perception: holonomy and structure in figural processing''. Hillsdale, N. J.: Lawrence Erlbaum Associates. {{ISBN|978-0-89859-995-4}}. [https://books.google.com/books?id=nsD4L2zsK4kC&pg=PA111&lpg quote of « fractal chaos » neural network].</ref>{{,}}<ref>D. Levine et al, oscillations in neural systems, publié par Lawrence Erlbaum Associates, 1999, 456 pages, {{ISBN|978-0-8058-2066-9}}.</ref>
# Discrete bidirectional associative memory (BAM)
# Temporal associative memory (TAM)
# Adaptive bidirectional associative memory (ABAM)
# Apprentissage compétitif

Dans ce type d'apprentissage non supervisé, les neurones sont en compétition pour être actifs. Ils sont à sortie binaire et on dit qu'ils sont actifs lorsque leur sortie vaut 1. Alors que dans les autres règles plusieurs sorties de neurones peuvent être actives simultanément, dans le cas de l'apprentissage compétitif, un seul neurone est actif à un instant donné. Chaque neurone de sortie est spécialisé pour « détecter » une suite de formes similaires et devient alors un détecteur de caractéristiques. La fonction d'entrée est dans ce cas, <math>h = \operatorname{b-dist}(W, X)</math> où <math>b</math>, <math>W</math> et <math>X</math> sont respectivement les vecteurs seuil, poids synaptiques et entrées. Le neurone gagnant est celui pour lequel h est maximum donc si les seuils sont identiques, celui dont les poids sont les plus proches des entrées. Le neurone dont la sortie est maximale sera le vainqueur et sa sortie sera mise à 1 alors que les perdants auront leur sortie mise à 0. Un neurone apprend en déplaçant ses poids vers les valeurs des entrées qui l'activent pour augmenter ses chances de gagner. Si un neurone ne répond pas à une entrée, aucun ajustement de poids n'intervient. Si un neurone gagne, une portion des poids de toutes les entrées est redistribuée vers les poids des entrées actives. L'application de la règle donne les résultats suivants (Grossberg) :
* <math>D w_{ij} = lr(x_j - w_{ij})</math> si le neurone i gagne,
* <math>D w_{ij} = 0</math> si le neurone i perd.
Cette règle a pour effet de rapprocher le vecteur poids synaptique <math>w_{ij}</math> de la forme d'entrée <math>x_j</math>.

Exemple : considérons deux nuages de points du plan que l'on désire séparer en deux classes. <math>x_1</math> et <math>x_2</math> sont les deux entrées, <math>w_{11}</math> et <math>w_{12}</math> sont les poids du neurone 1 que l'on peut considérer comme les coordonnées d'un point ‘poids du neurone 1’ et <math>w_{21}</math> et <math>w_{22}</math> sont les poids du neurone 2. Si les seuils sont nuls, hi sera la distance entre les points à classer et les points poids. La règle précédente tend à diminuer cette distance avec le point échantillon lorsque le neurone gagne. Elle doit donc permettre à chaque point poids de se positionner au milieu d'un nuage. Si on fixe initialement les poids de manière aléatoire, il se peut que l'un des neurones se positionne près des deux nuages et que l'autre se positionne loin de sorte qu'il ne gagne jamais. Ses poids ne pourront jamais évoluer alors que ceux de l'autre neurone vont le positionner au milieu des deux nuages. Le problème de ces neurones que l'on qualifie de morts peut être résolu en jouant sur les seuils. En effet, il suffit d'augmenter le seuil de ces neurones pour qu'ils commencent à gagner.

Applications : ce type de réseau et la méthode d'apprentissage correspondant peuvent être utilisés en analyse de données afin de mettre en évidence des similitudes entre certaines données.

=== Précisions ===

S'agissant d'un modèle, les réseaux de neurones sont généralement utilisés dans le cadre de simulation logicielle. [[IMSL]] et [[Matlab]] disposent ainsi de bibliothèques dédiées aux réseaux de neurones. Cependant, il existe quelques implémentations matérielles des modèles les plus simples, comme la puce [[ZISC]].

== Notes et références ==
{{Références}}

== Voir aussi ==
{{autres projets
  | wiktionary = réseau de neurones artificiels
  | Wikiversity = Réseaux de neurones
  | wikiversity titre = Réseaux de neurones
}}

=== Bibliographie ===
* François Blayo et Michel Verleysen, ''Les réseaux de neurones artificiels'', [[PUF]], [http://www.dice.ucl.ac.be/~verleyse/papers/qsj96fb.pdf Que Sais-je No 3042], {{1re|éd.}}, 1996.
* Léon Personnaz et Isabelle Rivals, ''Réseaux de neurones formels pour la modélisation, la commande et la classification'', CNRS Éditions, 2003.
* Richard P. Lippman, « An Introduction to Computing with Neural Nets », ''IEEE ASSP Magazine'', {{date-|avril 1987}}, p. 4-22.
* ''Neural  Networks : biological computers or electronic brains'' - Les entretiens de Lyon – (sous la direction de [[École normale supérieure de Lyon]]), Springer-Verlag, 1990.
* [[Jean-Paul Haton]], ''Modèles connexionnistes pour l’intelligence artificielle'', 1989.
* [[Gérard Dreyfus]], Jean-Marc Martinez, Manuel Samuelides, Mirta Gordon, Fouad Badran et Sylvie Thiria, ''Apprentissage statistique : réseaux de neurones, cartes topologiques, machines à vecteurs supports'', Eyrolles, 2008.
* Eric Davalo, Patrick Naïm, Des Réseaux de neurones, Eyrolles, 1990.
* Simon Haykin, ''Neural Networks : A Comprehensive Foundation'', {{2e|éd.}}, Prentice Hall, 1998.
* Christopher M. Bishop, ''Neural Networks for Pattern Recognition'', Oxford University Press, 1995.
* {{Bishop06}}
* {{DudaHartStork}}
* Ben Krose et Patrick van der Smagt, ''[http://neuron.tuke.sk/math.chtf.stuba.sk/pub/vlado/NN_books_texts/Krose_Smagt_neuro-intro.pdf An Introduction to Neural Networks]'', {{8e}} éd., 1996.
* {{Ouvrage|langue=fr|auteurs=Claude Touzet|titre=Les réseaux de neurones|sous-titre=Introduction connexionnisme|éditeur=EC2|année=1992|pages totales=160|isbn=}}, [http://www.touzet.org/livres/Reseaux_de_neurones_artificiels/Les_reseaux_de_neurones_artificiels.pdf téléchargement PDF].
* Marc Parizeau, ''Réseaux de neurones'' <small>(Le perceptron multicouche et son algorithme de retropropagation des erreurs)</small>, Université Laval, Laval, 2004, 272 p.
* Fabien Tschirhart (dir. Alain Lioret), ''Réseaux de neurones formels appliqués à l'Intelligence Artificielle et au jeu'', ESGI (mémoire de master de recherche en multimédia et animation numérique), Paris, 2009, 121 p. {{lire en ligne|lien=http://fabien.tschirhart.free.fr/images/Docs/memoire_V129.pdf|texte=mémoire en ligne|date=8 novembre 2010}}.
* {{article|langue=en|auteur1= Warren Sturgis McCulloch |auteur2= Walter Pitts|titre=A logical calculus of the ideas immanent in nervous activity|périodique=Bulletin of Mathematical Biophysics|numéro=5|pages=115-133|date= 1943}}.
* {{article|langue=en|auteur1= [[Frank Rosenblatt]]|titre=The Perceptron : probabilistic model for information storage and organization in the brain|périodique=Psychological Review|numéro= 65|pages=386-408|date= 1958}}.
* {{article|langue=en|auteur1= [[John Joseph Hopfield]]|titre=Neural networks and physical systems with [[Algorithme émergent|emergent collective computational abilities]]|périodique=Proceedings of the National Academy of Sciences|numéro= 79|pages=2554-2558|date= 1982}}.
* {{chapitre|auteur1=[[Yann LeCun]]|titre=Une procédure d’apprentissage pour réseau à seuil asymétrique.|titre ouvrage=COGNITIVA 85|lieu= Paris|date= 4-{{date-|7 juin 1985}}}}.
* {{ouvrage|langue=en|auteur1= D. E. Rumelhart |auteur2= J. L. Mc Clelland|titre=Parallel Distributed Processing: Exploration in the MicroStructure of Cognition|éditeur=MIT Press|lieu= Cambridge|date= 1986}}.
* {{ouvrage|auteur1= J. A. Anderson |auteur2= E. Rosenfeld|titre=Neuro Computing Foundations of Research|éditeur=MIT Press|lieu= Cambridge|date= 1988}}.
* {{Mitchell}}
* {{Lien web | auteur = Wulfram Gerstner | titre = Réseau de neurones artificiels - Une introduction à l'apprentissage automatique | date = 2006 | url = http://moodlearchive.epfl.ch/2010-2011/file.php/2351/Gerstner-Neurones06.pdf | site = moodlearchive.epfl.ch | consulté le = 6 juillet 2016 }}.

=== Articles connexes ===
* [[Algorithme émergent]]
* [[Apprentissage automatique]]
* [[Apprentissage non supervisé]]
* [[Apprentissage supervisé]]
* [[Arbre de décision]]
* [[Carte auto adaptative]]
* [[Connexionnisme]]
* [[Gaz neuronal]]
* [[Intelligence artificielle]]
* [[Machine à état liquide]]
* [[Neurone formel]]
* [[Réseau bayésien]]
* [[Réseau de neurones de Hopfield]]
* [[Réseau de neurones récurrents]]
* [[Réseau neuronal convolutif]]
* [[Sciences cognitives]]
* [[Statistique]]
* [[Statistique multivariée]]
* [[Théorème d'approximation universelle]]
* [[Réseau de neurones à impulsions]]
* [[Réseau neuronal à capsules]]

{{Palette|Apprentissage automatique|Informatique théorique|Technologies émergentes}}
{{Portail|intelligence artificielle|informatique théorique|Données|probabilités et statistiques}}

[[Catégorie:Apprentissage automatique]]
[[Catégorie:Exploration de données]]
[[Catégorie:Informatique théorique]]
[[Catégorie:Neurone]]
[[Catégorie:Réseau de neurones artificiels]]