Voir la source de Exploration de données

{{En-tête label|BA|année=2011}}

L’'''exploration de données'''<ref group=notes>[[Recommandation (terminologie)|Terme recommandé]] au Canada par l'[[OQLF]], et en France par la [[DGLFLF]] (''Journal officiel'' du 27 février 2003) et par [[FranceTerme]]</ref>, connue aussi sous l'expression de '''fouille de données''', '''forage de données''', '''prospection de données''', '''''{{Langue|en|data mining}}'''''<ref>{{Lien web |langue= |auteur= |titre=Définition de l’exploration de données Data Mining |url=https://www.lebigdata.ma/definition-de-lexploration-de-donnees-data-mining/ |site= |date= |consulté le=}}.</ref>, ou encore '''extraction de [[connaissance]]s à partir de données''', a pour objet l’extraction d'un [[savoir]] ou d'une connaissance à partir de grandes quantités de [[Donnée (statistique)|données]], par des méthodes automatiques ou semi-automatiques<ref>{{Ouvrage|prénom1=Gordon|nom1=Linoff|titre=Data mining techniques : for marketing, sales, and customer support|éditeur=[[John Wiley & Sons|Wiley]]|année=1997|isbn=0-471-17980-9|isbn2=978-0-471-17980-1|oclc=36755821}}</ref>.<!-- La définition est en débat -->

Elle se propose d'utiliser un ensemble d'[[Algorithmique|algorithmes]] issus de disciplines scientifiques diverses telles que les [[statistique]]s, l'[[intelligence artificielle]] ou l'[[informatique]], pour construire des modèles à partir des [[Donnée (statistique)|données]], c'est-à-dire trouver des structures intéressantes ou des motifs selon des critères fixés au préalable, et d'en extraire un maximum de [[connaissance]]s.

L'utilisation industrielle ou opérationnelle de ce savoir dans le monde professionnel permet de résoudre des problèmes très divers, allant de la [[gestion de la relation client]] à la maintenance préventive, en passant par la détection de [[fraude]]s ou encore l'optimisation de [[sites web]]. C'est aussi le mode de travail du [[journalisme de données]]<ref>[http://www.etalab.gouv.fr/pages/atelier-de-travail-du-13-octobre-2011-datajournalisme-5913723.html « Atelier de travail Etalab du 13 octobre 2011 : Datajournalisme »] ({{4e}} Workshop d'Etalab, 70 participants le 13 octobre 2011), avec vidéos en ligne, consulté 8 octobre 2013.</ref>.

L'exploration de données<ref>{{lien web|langue=en|auteur1=Kurt Thearling|url=http://www.thearling.com/text/dmwhite/dmwhite.htm|titre={{Langue|en|An Introduction to Data Mining}}|site=thearling.com|consulté le=2 mai 2011}}.</ref> fait suite, dans l'escalade de l'exploitation des données de l'entreprise, à l'[[informatique décisionnelle]]. Celle-ci permet de constater un fait, tel que le [[chiffre d'affaires]], et de l'expliquer comme le chiffre d'affaires décliné par produits, tandis que l'exploration de données permet de classer les faits et de les ''prévoir'' dans une certaine mesure<ref group=notes>en suivant le même exemple, il permet de répondre à la question : {{citation|Quel pourrait être le chiffre d'affaires dans un mois ?}}</ref> ou encore de les éclairer en révélant par exemple les variables ou paramètres qui pourraient faire comprendre pourquoi le chiffre d'affaires de tel point de vente est supérieur à celui de tel autre.

== Histoire ==
[[Fichier:SlideQualityLife.png|vignette|droite|Collecter les données, les analyser et les présenter au client.]]
La génération de modèles à partir d'un grand nombre de données n'est pas un phénomène récent. Pour qu'il y ait création de modèle il faut qu'il y ait collecte de données. En [[Chine]] on prête à l'Empereur mythique [[Yao (empereur)|Yao]], la volonté de recenser les récoltes en 2238 av. J.-C.<ref name=statistix>{{Lien web|url=http://www.statistix.fr/IMG/pdf/Une_approche_historique_de_la_statistique_v3.pdf|site=statistix.fr|titre=Une approche historique de la statistique| auteur1= Jean-Claude Oriol| consulté le = 12 mai 2011|format électronique=pdf}}.</ref> ; en [[Égypte]] le pharaon [[Amasis]] organise le recensement de sa population au {{Ve siècle av. J.-C.}}<ref name=statistix/> Ce n'est qu'au {{s-|XVII|e}} qu'on commence à vouloir analyser les données pour en rechercher des caractéristiques communes. En [[1662 en science|1662]], [[John Graunt]] publie son livre {{Citation étrangère|lang=en|Natural and Political Observations Made upon the Bills of Mortality}} dans lequel il analyse la mortalité à [[Londres]] et essaie de prévoir les apparitions de la peste bubonique. En [[1763 en science|1763]], [[Thomas Bayes]] montre qu'on peut déterminer, non seulement des probabilités à partir des observations issues d’une expérience, mais aussi les paramètres relatifs à ces probabilités. Présenté dans le cas particulier d'une [[loi binomiale]], ce résultat est étendu indépendamment par [[Pierre-Simon de Laplace|Laplace]], conduisant à une formulation générale du [[théorème de Bayes]]. [[Adrien-Marie Legendre|Legendre]] publie en [[1805 en science|1805]] un essai sur la [[méthode des moindres carrés]] qui permet de comparer un ensemble de données à un [[modèle mathématique]]. Les calculs manuels coûteux ne permettent cependant pas d'utiliser ces méthodes hors d'un petit nombre de cas simples et éclairants.

De 1919 à 1925, [[Ronald Aylmer Fisher|Ronald Fisher]] met au point l'[[analyse de la variance]] comme outil pour son projet d'[[inférence statistique]] médicale. Les années 1950 voient l'apparition de calculateurs encore onéreux et des techniques de calcul par lots sur ces machines. Simultanément, des méthodes et des techniques voient le jour telles que la [[Partitionnement de données|segmentation]], [[classification]] (entre autres par la [[méthode des nuées dynamiques]]), une première version des futurs [[réseaux de neurones]] qui se nomme le [[Perceptron]], et quelques algorithmes auto-évolutifs qui se nommeront plus tard ''[[algorithmes génétiques|génétiques]]''. Dans les années 1960 arrivent les [[Arbre de décision|arbres de décision]] et la [[méthode des centres mobiles]]; ces techniques permettent aux chercheurs d'exploiter et de découvrir des modèles de plus en plus précis. En [[France]], [[Jean-Paul Benzécri]] développe l'[[Analyse factorielle des correspondances|analyse des correspondances]] en [[1962 en science|1962]]. On reste cependant dans une optique de [[traitement par lots]].

En [[1969]] paraît l'ouvrage de [[Myron Tribus]] ''Rational descriptions, decisions and designs''<ref>{{Ouvrage |langue=en |auteur1=Myron Tribus |titre=Rational descriptions, decisions, and designs |éditeur= |année=1969 |pages totales=478 |lire en ligne=https://books.google.fr/books?id=fW1bAAAAMAAJ&q=Cox-Jaynes}}.</ref> qui généralise les [[inférence bayésienne|méthodes bayésiennes]] dans le cadre du calcul automatique (professeur à [[Dartmouth (Massachusetts)|Dartmouth]], il utilise assez logiquement le langage [[BASIC]], qui y a été créé quelques années plus tôt, et son [[interactivité]]). La traduction en français devient disponible en 1973 sous le nom ''Décisions rationnelles dans l'incertain''. Une idée importante de l'ouvrage est la mention du [[théorème de Cox-Jaynes]] démontrant que toute acquisition d'un modèle soit se fait selon les règles de Bayes (à un [[homomorphisme]] près), soit conduit à des incohérences. Une autre est que parmi toutes les distributions de probabilité satisfaisant aux observations (leur nombre est infini), il faut choisir celle qui contient le moins d'arbitraire (donc le moins d'[[information]] ajoutée, et en conséquence celle d'[[Principe d'entropie maximale|entropie maximale]]<ref group=notes>. Ces distributions sont faciles à calculer, et on trouve parmi elles des lois déjà largement utilisées (loi normale, distribution exponentielle négative, lois de Zipf et de Mandelbrot...), par des méthodes sans rapport avec celles qui les ont établies. Le test de ''fitness'' d'une distribution au modèle du « test Psi » de calcul de l'entropie résiduelle, est asymptotiquement équivalent à la [[Loi du χ²]].</ref>. La probabilité s'y voit considérée comme simple traduction numérique d'un état de connaissance, sans connotation fréquentiste sous-jacente. Enfin, cet ouvrage popularise la notation des probabilités en décibels, qui rend la règle de Bayes additive et permet de quantifier de façon unique l'apport d'une observation en la rendant désormais indépendante des diverses estimations ''a priori'' préalables (voir [[Inférence bayésienne]]).

L'arrivée progressive des micro-ordinateurs permet de généraliser facilement ces méthodes bayésiennes sans grever les coûts. Cela stimule la recherche et les analyses bayésiennes se généralisent, d'autant que Tribus a démontré leur convergence, au fur et à mesure des observations, vers les résultats des statistiques classiques tout en permettant d'affiner les connaissances au fil de l'eau sans nécessiter les mêmes délais d'acquisition (voir aussi [[Plan d'expérience]]).

L'affranchissement du protocole statistique classique commence alors : il n'est plus nécessaire de se fixer une hypothèse et de la vérifier ou non ''a posteriori''. Au contraire, les estimations bayésiennes vont construire elles-mêmes ces hypothèses au fur et à mesure que s'accumulent les observations.

{{refnec|L'expression {{Citation étrangère|lang=en| data mining}} avait une connotation péjorative au début des années 1960, exprimant le mépris des statisticiens pour les démarches de recherche de corrélation sans hypothèses de départ}}. Elle tombe dans l'oubli, puis [[Rakesh Agrawal]] l'emploie à nouveau dans les années 1980 lorsqu'il entamait ses recherches sur des bases de données d'un volume de {{unité|1|Mo}}. Le concept d'exploration de données fait son apparition, d'après Pal et Jain, aux conférences de l'IJCAI en [[1989 en science|1989]]<ref>{{Ouvrage|langue=en|prénom1=Nikhil|nom1=Pal|prénom2=Lakhmi|nom2=Jain|titre=Advanced techniques in knowledge discovery and data mining|éditeur=Springer|année=2005|pages totales=254|isbn=978-1-85233-867-1}}</ref>. [[Gregory Piatetsky-Shapiro]] chercha un nom pour ce nouveau concept dans la fin des années 1980, aux [[GTE Laboratories]]. {{Citation étrangère|lang=en| Data mining}} étant sous la protection d'un copyright, il employa l'expression {{Citation étrangère|lang=en| Knowledge discovery in data bases }} (KDD)<ref>{{Lien web|langue=en|url=http://lafouillededonnees.blogspirit.com/3_-_dm_un_peu_d_histoire/|site=lafouillededonnees.blogspirit.com|auteur1=Carole Albouy|titre=Il était une fois ... le data mining| consulté le = 23 octobre 2011}}.</ref>.

Puis, dans les années 1990, viennent les techniques d'[[apprentissage automatique]] telles que les [[Machine à vecteurs de support|SVM]]<ref name=tuff506 group=b>{{Harvsp|Tufféry|2010|p=506}}</ref> en [[1998 en science|1998]], qui complètent les outils de l'analyste.

Au début du {{s-|XXI|e}}, une entreprise comme [[Amazon.com]] se sert de tous ces outils pour proposer à ses clients des produits susceptibles de les intéresser<ref>{{Lien web|langue=en|url=http://www.math.louisville.edu/people/faculty/Cerrito/DataMine.pdf|site=math.louisville.edu|auteur1=Patricia Cerrito|titre={{Langue|en|A Data Mining Applications Area in the Department of Mathematics}}| consulté le = 31 mai 2011|format électronique=pdf}}.</ref>{{,}}<ref>{{Lien web|langue=en|url=http://www.afcea.org/signal/articles/anmviewer.asp?a=1417&print=yes|site=afcea.org|auteur1=Maryann Lawlor|titre={{Langue|en|Smart Companies Dig Data}}| consulté le = 31 mai 2011}}.</ref>.

{{Palette Statisticiens}}

== Applications industrielles ==
=== Par objectifs ===
[[Fichier:CarMilageData.png|vignette|droite|Un exemple de ce qu'on peut faire avec le logiciel [[R (logiciel)|R]] : ici un [[corrélogramme]].]]

De nos jours, les techniques d'exploration de données peuvent être utilisées dans des domaines complètement différents avec des objectifs bien spécifiques. Les sociétés de [[vente par correspondance]] analysent, avec cette technique, le comportement des consommateurs pour dégager des similarités de comportement, accorder des [[carte de fidélité|cartes de fidélité]], ou établir des listes de produits à proposer en [[vente additionnelle]] (vente croisée).

Un [[publipostage]] (''{{Langue|en|mailing}}'') servant à la prospection de nouveaux clients possède un taux de réponses de 10 % en moyenne. Les entreprises de marketing utilisent la fouille de données pour réduire le coût d'acquisition d'un nouveau client en classant les [[Prospect (marketing)|prospects]] selon des critères leur permettant d'augmenter les taux de réponses<ref name=frodeau>{{Lien web|url = http://www.creg.ac-versailles.fr/IMG/pdf/data_mining.pdf|site = creg.ac-versailles.fr|titre= Data mining, Outil de Prediction du Comportement du Consommateur| auteur1= Christine Frodeau| consulté le = 12 mai 2011|format électronique = pdf}}.</ref> aux questionnaires envoyés.

Ces mêmes entreprises, mais d'autres aussi comme les banques, les opérateurs de téléphonie mobile ou les assureurs, cherchent grâce à l'exploration de données à minimiser l’[[Churn|attrition]] (ou ''{{Langue|en|churn}}'') de leurs clients puisque le coût de conservation d'un client est moins important que celui de l'acquisition d'un nouveau.

Les services de polices de tous les pays<ref>{{Ouvrage|langue=en|prénom1=Colleen|nom1=McCue|titre=Data Mining and Predictive Analysis|sous-titre=intelligence gathering and crime analysis|lieu=Amsterdam/Boston|éditeur=[[Elsevier (éditeur)|Elsevier]]|année=2007|pages totales=313|isbn=978-0-7506-7796-7}}</ref> cherchent à caractériser les crimes (répondre à la question : « Qu'est-ce qu'un crime « normal » ? ») et les comportements des criminels (répondre à la question : « qu'est-ce qu'un comportement criminel « normal » ? ») afin de prévenir le crime, limiter les risques et les dangers pour la population.

Le ''{{Langue|en|scoring}}'' des clients dans les banques est maintenant très connu, il permet de repérer les « bons » clients, sans facteur de [[gestion du risque|risque]] ([[Évaluation des risques-clients]]) à qui les organismes financiers, banques, assurances, etc., peuvent proposer une tarification adaptée et des produits attractifs, tout en limitant le risque de non-remboursement ou de non-paiement ou encore de sinistre dans le cas des assurances.

Les [[centre d'appel|centres d'appel]] utilisent cette technique<ref name=frodeau/> pour améliorer la qualité du service<ref name=6SV>{{Lien web| url=http://www.jmp.com/fr/software/success/pdf/qualite_et_management.pdf | site=jmp.com | titre = Amélioration de la qualité dans un centre d’appel | auteur1 = Frank audet| auteur2 = Malcolm Moore | consulté le = 12 mai 2011| format électronique=pdf }}.</ref> et permettre une réponse adaptée de l'opérateur pour la satisfaction du client.

Dans la recherche du [[Génétique humaine#Séquençage du génome humain|génome humain]], les techniques d'exploration de données ont été utilisées pour découvrir les [[gène]]s et leur fonction<ref>{{Lien web| langue = en | url = http://www.fas.org/irp/agency/dod/jason/genome.pdf | site = fas.org | titre = {{Langue|en|Data mining and the human genome}} | auteur1 = Henry Abarbanel | auteur2=Curtis Callan | auteur3=William Dally | auteur4=[[Freeman Dyson]] | auteur5=Terence Hwa | auteur6=Steven Koonin | auteur7=Herbert Levine | auteur8=Oscar Rothaus | auteur9=Roy Schwitters | auteur10=Christopher Stubbs | auteur11=Peter Weinberger | page = 7 | consulté le = 12 mai 2011| format électronique = pdf }}.</ref>.

D'autres exemples dans d'autres domaines pourraient être trouvés, mais ce qu'on peut remarquer dès à présent, c'est que toutes ces utilisations permettent de caractériser un phénomène complexe (comportement humain, expression d'un gène), pour mieux le comprendre, afin de réduire les coûts de recherche ou d'exploitation liés à ce phénomène, ou bien afin d'améliorer la qualité des processus liés à ce phénomène.

=== Par secteurs d'activités ===
L'industrie a pris conscience de l'importance du patrimoine constitué par ses données et cherche à l'exploiter en utilisant l'informatique décisionnelle et l'exploration des données. Les compagnies les plus avancées dans ce domaine se situent dans le [[secteur tertiaire]].
Selon le site kdnuggets.com<ref name=":1">{{Lien web | langue = en | url = http://www.kdnuggets.com/polls/2010/analytics-data-mining-industries-applications.html | site = kdnuggets.com | titre = {{Langue|en|Industries / Fields for Analytics / Data Mining in 2010}}| date=octobre 2010 | consulté le = 12 mai 2011}}.</ref> la répartition aux [[États-Unis]], en pourcentage du total des réponses au sondage, de l'utilisation de l'exploration des données par [[secteurs d'activités]] s'effectue en [[2010]] comme ceci :

{{Histogramme2|border=1px black|ncol=3|valeurmax=30
|légende='''Branches et domaines dans lesquels est utilisée l'exploration des données (%).'''<ref name=":1" />
|<small>[[Gestion de la relation client|GRC]]/ analyse de la consommation</small>|26.8|<small>Banque</small>|19.2|
<small>Santé, [[Gestion des ressources humaines|ressources humaines]]</small>|13.1|
<small>Détection de fraude</small>|12.7|
<small>[[Finance]]</small>|11.3|
<small>[[Marketing direct]], [[collecte de fonds]]</small>|11.3|
<small>[[Télécommunication]]</small>|10.8|
<small>[[Assurance]]</small>|10.3|
<small>[[Science]]s</small>|10.3|
<small>[[Éducation]]</small>|9.9|
<small>[[Publicité]]</small>|9.9|
<small>[[Web]]</small>|8.9|
<small>Médical</small>|8.0|
<small>[[Produits manufacturés]]</small>|8.0|
<small>[[Commerce de détail]]</small>|8.0|
<small>Notation crédit</small>|8.0|
<small>[[Commerce électronique]]</small>|7.0|
<small>[[Moteur de recherche]]</small>|6.6|
<small>[[Réseaux sociaux]]</small>|6.6|
<small>Gouvernement, [[Armée|militaire]]</small>|6.1|
<small>[[Investissement]], [[bourse]]</small>|5.6|
<small>[[Biotechnologie]], [[génomique]]</small>|5.6|
<small>Loisirs, musique</small>|3.3|
<small>Sécurité, [[Anti-terrorisme]]</small>|1.9|
<small>Voyages, Hôtels</small>|1.4|
<small>[[Anti-spam]]</small>|0.9|
<small>[[Politique sociale]]</small>|0.9|
<small>Autres</small>|11.7
}}

== Recherche et groupes de réflexion ==
[[Fichier:AcpClusterRL01.png|vignette|droite|Résultats graphiques d'une [[analyse en composantes principales]]]]
Comme le montre l'histogramme ci-dessus, l'[[industrie]] est très intéressée par le sujet, notamment en matière de standard et d'[[interopérabilité]]<ref group=notes>Voir dans ce document les efforts de standardisation et d'interopérabilité effectués par l'industrie : {{Lien web | langue = en| url = http://www.datamininggrid.org/wdat/works/att/standard01.content.08439.pdf| site = datamininggrid.org| titre = {{Langue|en|Data Mining Standards}} | auteur1 = Arati Kadav | auteur2 = Aya Kawale|auteur3 = Pabitra Mitra|consulté le = 13 mai 2011| format électronique = pdf}}.</ref> qui facilitent l'emploi d'outils informatiques provenant d'éditeurs différents. En outre, les entreprises, l'enseignement et la recherche ont grandement contribué à l'évolution et à l'amélioration (en termes de rigueur par exemple) des méthodes et des modèles ; un article publié en [[2008 en science|2008]] par l'''{{Langue|en|International Journal of Information Technology and Decision Making}}'' résume une étude qui trace et analyse cette évolution<ref>{{Article|langue=en| prénom1= Yi |nom1= Peng |prénom2 = Gang | nom2 = Kou | prénom3=Yong | nom3 = Shi | prénom4 = Zhengxin | nom4 = Chen |titre=A Descriptive Framework for the Field of Data Mining and Knowledge Discovery|périodique=International Journal of Information Technology and Decision Making | année =2008 |pages=639 à 682| url texte= 10.1142/S0219622008003204| consulté le=19 mai 2011| volume= 7|numéro=4}}</ref>. Certains acteurs sont passés de la recherche à l'industrie.

Des universités telles que celles de [[Université de Constance|Constance]] en [[Allemagne]], de [[Université de Dortmund|Dortmund]] en [[Caroline du Nord]], aux [[États-Unis]], de [[Waikato (région)|Waikato]] en [[Nouvelle-Zélande]], et l'[[Université Lumière Lyon 2]] en France, ont effectué des recherches pour trouver de nouveaux [[algorithme]]s et améliorer les anciens{{Source insuffisante}}. Ils ont aussi développé des logiciels permettant à leurs étudiants, enseignants et chercheurs de progresser dans ce domaine, faisant ainsi bénéficier l'industrie de leur progrès.

D’autre part, de nombreux groupements interprofessionnels et d'associations se sont créés pour réfléchir et accompagner le développement de l'exploration de données. Le premier de ces groupements professionnels dans le domaine est le groupe d’intérêt de l'''{{Langue|en|[[Association for Computing Machinery]]}}'' sur la [[gestion des connaissances]] et l'exploration de données, le [[SIGKDD]]<ref>{{Lien web| langue = en|url = http://www.sigkdd.org/index.php|site = sigkdd.org|titre = ''{{Langue|en|SIGKDD}}'' : Site officiel | consulté le = 13 mai 2011}}.</ref>. Depuis [[1989 en science|1989]] il organise une conférence internationale annuelle et publie les nouveaux résultats, réflexions et développements de ses membres<ref>{{Lien web| langue = en| url = http://www.kdd.org/conferences.php| site = kdd.org | titre = {{Langue|en|ACM SIGKDD : Conferences}} | consulté le = 13 mai 2011}}.</ref>. Ainsi, depuis [[1999 en science|1999]], cet organisme publie une revue semestrielle dont le titre est ''{{Citation étrangère|lang=en|SIGKDD Explorations}}''<ref>{{Lien web | langue=en | url=http://www.kdd.org/explorations/about.php | site=kdd.org | titre = {{Langue|en|SIGKDD Explorations}} | nom1=ACM, New York | consulté le = 13 mai 2011}}.</ref>.

D'autres conférences sur l'exploration de données et l'informatique sont organisées, par exemple :
* DMIN - ''{{Langue|en|International Conference on Data Mining}}''<ref>{{Lien web | langue= en | url= http://www.dmin--2009.com/ | site= dmin--2009.com | titre=''5th'' (2009)| consulté le = 13 mai 2011}}.</ref>{{,}}<ref>{{Lien web | langue = en | url = http://www.dmin-2008.com/ | site = dmin-2008.com | titre = ''4th'' (2008) | consulté le = 13 mai 2011}}.</ref>{{,}}<ref>{{Lien web | langue = en | url = http://www.dmin-2007.com/ | site = dmin-2007.com | titre = ''{{3rd}}'' (2007) | consulté le = 13 mai 2011}}.</ref>{{,}}<ref>{{Lien web | langue = en | url = http://www.dmin-2006.com/ | site = dmin-2006.com | titre = ''{{2d}}'' (2006) | consulté le = 13 mai 2011}}.</ref>{{,}}<ref>{{Lien web | langue = en | url = http://www.informatik.uni-trier.de/~ley/db/conf/dmin/dmin2005.html | site = informatik.uni-trier.de | titre = ''{{1st}}'' (2005) | consulté le = 13 mai 2011}}.</ref>
* DMKD - ''{{Langue|en|Research Issues on Data Mining and Knowledge Discovery}}''
* ECML-PKDD - ''{{Langue|en|[[European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases]]}}''
* ICDM<ref>{{Lien web | langue = en | url = http://www.cs.uvm.edu/~icdm/ | site = cs.uvm.edu | titre = ''{{Langue|en|ICDM}}'' : Site officiel | consulté le = 13 mai 2011}}.</ref> - [[IEEE]] ''{{Langue|en|International Conference on Data Mining}}''<ref>{{Lien web | langue = en | url = http://www.informatik.uni-trier.de/~ley/db/conf/icdm/index.html | site = informatik.uni-trier.de | titre = IEEE International Conference on Data Mining | consulté le = 13 mai 2011}}.</ref>{{,}}<ref>{{Lien web | langue = en | url = http://www.cs.umbc.edu/ICDM09/ | site = cs.umbc.edu | titre = ICDM09, Miami, FL | consulté le = 13 mai 2011}}.</ref>{{,}}<ref>{{Lien web | langue = en | url = http://icdm08.isti.cnr.it/ | site = icdm08.isti.cnr.it | titre = {{Langue|en|ICDM08, Pisa (Italy)}}|consulté le = 13 mai 2011}}.</ref>{{,}}<ref>{{Lien web | langue = en | url = http://www.ist.unomaha.edu/icdm2007/ | site = ist.unomaha.edu | titre = {{Langue|en|ICDM07, Omaha, NE}} | consulté le = 13 mai 2011}}.</ref>{{,}}<ref>{{Lien web | langue = en | url = http://www.comp.hkbu.edu.hk/iwi06/icdm/ | site = comp.hkbu.edu.hk | titre = ICDM06, Hong Kong | consulté le = 13 mai 2011}}.</ref>{{,}}<ref>{{Lien web | langue = en | url = http://www.cacs.ull.edu/~icdm05/ | site = cacs.ull.edu | titre = {{Langue|en|ICDM05, Houston, TX}}|consulté le = 13 mai 2011}}.</ref>{{,}}<ref>{{Lien web | langue=en | url=http://icdm04.cs.uni-dortmund.de/ | site=icdm04.cs.uni-dortmund.de | titre = {{Langue|en|ICDM04, Brighton (UK)}} | consulté le = 13 mai 2011}}.</ref>{{,}}<ref>{{Lien web | langue = en | url = http://www.cs.uvm.edu/~xwu/icdm-01.html | site = cs.uvm.edu | titre = {{Langue|en|ICDM01, San Jose, CA.}} | consulté le = 13 mai 2011}}.</ref>
* MLDM - ''{{Langue|en|Machine Learning and Data Mining in Pattern Recognition}}''
* SDM - [[Society for Industrial and Applied Mathematics|SIAM]] ''{{Langue|en|International Conference on Data Mining}}''
* EDM - ''{{Langue|en|International Conference on Educational Data Mining}}''
* ECDM - ''{{Langue|en|European Conference on Data Mining}}''
* PAKDD - ''{{Langue|en|The annual Pacific-Asia Conference on Knowledge Discovery and Data Mining}}''

Ces recherches et résultats financièrement probants obligent les équipes spécialisées dans l'exploration de données à effectuer un travail méthodique dans des projets structurés.

== Projets, méthodes et processus ==
De bonnes pratiques ont émergé au fil du temps pour améliorer la qualité des projets. Parmi celles-ci, les [[méthodologie]]s aident les équipes à organiser les projets en processus. Au nombre des méthodes les plus utilisées se trouvent la méthodologie [[SEMMA]] du [[SAS Institute]] et la [[Cross Industry Standard Process for Data Mining|CRISP-DM]] qui est la méthode la plus employée dans les années 2010.

=== Méthode CRISP-DM ===
{{Article détaillé|Cross Industry Standard Process for Data Mining}}

La méthode CRISP-DM<ref name="CRISP">{{Lien web| langue = en | url = http://www.crisp-dm.org/Process/index.htm | site = crisp-dm.org | titre= {{Langue|en|CRoss Industry Standard Process for Data Mining}} |sous-titre=Process Model| année = 2007|consulté le = 14 mai 2011}}.</ref> découpe le processus de fouille de données en six étapes permettant de structurer la technique et de l'ancrer dans un processus industriel. Plus qu'une théorie normalisée, c'est un processus d'extraction des connaissances métiers.

[[Fichier:CRISP DM.png|vignette|gauche|Phases du processus CRISP-DM]]
Il faut d'abord comprendre le métier<ref name=CRISP/> qui pose la question à l'analyste, formaliser le problème que l'organisation cherche à résoudre en ce qui concerne les données, comprendre les enjeux, connaître les critères de réussite du projet et mettre en place un plan initial pour réaliser cet objectif.

Ensuite, l'analyste a besoin de données appropriées. Dès que l'équipe de projet sait ce qu'il faut faire, elle doit se mettre en quête des données, des textes et tout le matériel qui lui permettra de répondre au problème. Il lui faut ensuite en évaluer la qualité, découvrir les premiers schémas apparents pour émettre des hypothèses sur les modèles cachés.

Les données que l'équipe de projet a collectées sont [[Hétérogénie|hétérogènes]]. Elles doivent être préparées<ref name=CRISP/> en fonction des algorithmes utilisés, en supprimant les valeurs aberrantes, ou valeurs extrêmes, en complétant les données non renseignées, par la [[moyenne]] ou par la méthode des [[Recherche des plus proches voisins|K plus proches voisins]], en supprimant les doublons, les variables invariantes et celles ayant trop de valeurs manquantes, ou bien par exemple en discrétisant les variables si l’algorithme à utiliser le nécessite, comme c'est par exemple le cas pour l'analyse des correspondances multiples ACM, l'[[analyse discriminante]] DISQUAL, ou bien la [[méthode de Condorcet]].

Une fois les données prêtes, il faut les explorer<ref name=CRISP/>. La modélisation regroupe des classes de tâches pouvant être utilisées seules ou en complément avec les autres<ref name=Fayyad>{{Lien web | langue= en | url= http://www.kdnuggets.com/gpspubs/aimag-kdd-overview-1996-Fayyad.pdf | site= kdnuggets.com | titre = {{Langue|en|From Data Mining to Knowledge Discovery in Databases}} | auteur1 = Usama Fayyad | auteur2 = Gregory Piatetsky-Shapiro | auteur3 = Padhraic Smyth | année= 1996 | consulté le = 14 mai 2011| format électronique= pdf }}.</ref> dans un but descriptif ou prédictif.

La [[Partitionnement de données|segmentation]] est la tâche consistant à découvrir des groupes et des structures au sein des données qui sont d'une certaine façon similaires, sans utiliser des structures connues ''a priori'' dans les données. La [[classification]] est la tâche de généralisation des structures connues pour les appliquer à des données nouvelles<ref group=notes>Par exemple, un programme gestionnaire de messages électroniques pourrait tenter de classer un e-mail dans la catégorie des e-mails légitimes ou bien dans celle des [[pourriel]]s. Les algorithmes généralement utilisés incluent les [[arbre de décision|arbres de décision]], les [[Recherche des plus proches voisins|plus proches voisins]], la [[Classification naïve bayesienne|classification naïve bayésienne]], les [[Réseau de neurones artificiels|réseaux neuronaux]] et les [[Machine à vecteurs de support|séparateurs à vaste marge]] (SVM)</ref>.

La [[Régression (statistiques)|régression]] tente de trouver une fonction modélisant les données continues, c'est-à-dire non discrètes, avec le plus petit taux d'erreur, afin d'en prédire les valeurs futures. L'[[Règle d'association|association]] recherche les relations entre des items. Par exemple un supermarché peut rassembler des données sur des habitudes d'achats de ses clients. En utilisant les règles d'association, le supermarché peut déterminer quels produits sont fréquemment achetés ensemble et ainsi utiliser cette connaissance à des fins de [[marketing]]. Dans la littérature, cette technique est souvent citée sous le nom d'« analyse du panier de la ménagère ».

Il s'agit d'évaluer ensuite<ref name=CRISP/> les résultats obtenus en fonction des critères de succès du métier et d'évaluer le processus lui-même pour faire apparaître les manques et les étapes négligées. À la suite de ceci, il doit être décidé soit de déployer, soit d'itérer le processus en améliorant ce qui a été mal ou pas effectué.

Puis vient la phase de livraison<ref name=CRISP/> et de bilan de fin de projet. Les plans de contrôle et de maintenance sont conçus et le rapport de fin de projet est rédigé. Afin de déployer un modèle prédictif, le langage [[Predictive Model Markup Language|PMML]], basé sur le [[XML]], est utilisé. Il permet de décrire toutes les caractéristiques du modèle et de le transmettre à d'autres applications compatibles PMML.

=== Autres process et méthodes ===
D'autres process existent :
* Le process SEMMA<ref name=":0">{{Article |langue=en|auteur1=Ana Azevedo et M.F. Santos |titre=KDD, SEMMA AND CRISP-DM: A PARALLEL OVERVIEW |périodique=IADIS European Conf. Data |date=2008 |lire en ligne=https://recipp.ipp.pt/bitstream/10400.22/136/3/KDD-CRISP-SEMMA.pdf }}</ref> (Sample, Explore, Modify, Model, Assess) permet aussi la réalisation de projets Data.
* Le process KDD <ref name=":0" />(knowledge discovery in databases) créé en 1989 se réfère au process de la découverte de connaissance dans les données.

=== Maladresses à éviter ===
[[Image:Surajustement Modèle 2.JPG|vignette|Sur-ajustement d'un modèle : arbitrage performance / complexité]]
Les écueils les plus communément rencontrés par les fouilleurs de données expérimentés ou non ont été décrits par Robert Nisbet, John Elder et Gary Miner dans leur ouvrage ''Handbook of Statistical Analysis & Data Mining Applications''<ref name=Nisbet733 group=b>{{Harvsp|Nisbet|Elder|Miner|2009|p=733}}</ref>.

La première est le fait de poser la mauvaise question. Ce qui conduit à faire chercher au mauvais endroit. Il faut que la question initiale soit correctement posée pour que la réponse soit utile.

Ensuite, c'est se contenter d'une faible quantité de données pour un problème complexe<ref name=Nisbet733 group=b/>. Il faut avoir des données pour les explorer, et les cas intéressants pour le fouilleur sont rares à observer, il faut donc avoir à sa disposition énormément de données pour pouvoir faire des échantillons qui ont une valeur d'apprentissage et qui vont permettre de prédire une situation, c'est-à-dire répondre à une question posée, sur les données hors échantillon. De plus, si les données ne sont pas adaptées à la question posée, la fouille sera limitée : par exemple si les données ne contiennent pas de variables à prédire, la fouille sera cantonnée à la description et l'analyste ne pourra que découper les données en sous-ensembles cohérents (''{{Langue|en|[[clusterisation]]}}'') ou trouver les meilleures dimensions qui capturent la variabilité des données.

Il faut construire l'échantillon, qui permet l'apprentissage, avec précaution et ne pas échantillonner à la légère<ref name=Nisbet733 group=b/>. L'apprentissage permet de construire le modèle à partir d'un ou plusieurs échantillons. Paramétrer l'outil d'exploration de données jusqu'à ce que le modèle renvoie 100 % des cas recherchés revient à se concentrer sur les particularités et se détourner de la généralisation, nécessaire, qui permet d'appliquer le modèle sur les données hors-échantillon. Des techniques existent pour éviter le sur-ajustement ou le [[Surapprentissage|sur-apprentissage]]. Il s'agit des méthodes de ré-échantillonnage telles que le ''{{Langue|en|[[Bootstrap (statistiques)|bootstrap]]}}'', du ''{{Langue|en|[[jackknife]]}}'' ou de la [[validation croisée]]<ref>{{Lien web | langue = en | url = http://www.faqs.org/faqs/ai-faq/neural-nets/part3/section-12.html | titre = {{Langue|en|What are cross-validation and bootstrapping?}} | site = faqs.org | consulté le = 15 mai 2011}}.</ref>.

Parfois, une seule technique (arbre de décision, réseaux neuronaux…) n'est pas suffisante pour obtenir un modèle qui donne de bons résultats sur toutes les données<ref name=Nisbet733 group=b/>. Une des solutions, dans ce cas, serait constituée d'un ensemble d'outils, qu'on peut utiliser les uns après les autres et comparer les résultats sur les mêmes données ou bien unifier les forces de chaque méthode soit par l'apprentissage soit par combinaison des résultats<ref>{{Lien web | langue = en | url = http://www.ews.uiuc.edu/~jinggao3/sdm10ensemble.htm | site = ews.uiuc.edu | titre={{Langue|en|On the Power of Ensemble: Supervised and Unsupervised Methods Reconciled}} | auteur1 = Jing Gao | auteur2=Wei Fan | auteur3=Jiawei Han | consulté le = 15 mai 2011}}.</ref>.

Il faut placer les données et les résultats de la fouille en perspective dans leur contexte<ref name=Nisbet733 group=b/>, et ne pas se focaliser sur les données, sans cela des erreurs d'interprétation peuvent survenir ainsi que des pertes de temps et d'argent.

Éliminer à priori les résultats qui paraissent absurdes<ref>{{Lien web | langue = en | url = http://www.cs.cmu.edu/~mmcgloho/pubs/accidents-sigbovik08.pdf | site = cs.cmu.edu | titre = {{Langue|en|Data Mining Disasters: a report}} | auteur1 = Mary McGlohon | page = 2 | consulté le = 14 mai 2011| format électronique = pdf }}.</ref>, en comparaison avec ce qui est attendu, peut être source d'erreurs car ce sont peut-être ces résultats qui donnent la solution à la question posée.

Il est impossible d'utiliser et d’interpréter les résultats d'un modèle en dehors du cadre dans lequel il a été construit<ref name=Nisbet733 group=b/>. Interpréter des résultats en fonction d'autres cas similaires mais différents est aussi cause d'erreurs, mais ce n'est pas propre aux raisonnements liés à l'exploration de données. Enfin, extrapoler des résultats, obtenus sur des espaces de faibles dimensions, sur des espaces de dimensions élevées peut aussi conduire à des erreurs.

Deux citations de [[George Box]], « Tous les modèles sont faux, mais certains sont utiles » et « Les statisticiens sont comme les artistes, ils tombent amoureux de leurs modèles », illustrent avec humour le fait que quelquefois certains analystes en fouille de données ont besoin de croire en leur modèle et de croire que le modèle qu'ils travaillent est le meilleur. Utiliser un ensemble de modèles et interpréter la distribution des résultats est nettement plus sûr<ref>{{Lien web | langue = en | url = http://fedc.wiwi.hu-berlin.de/xplore/ebooks/html/csa/node228.html | titre = {{Langue|en|An Introduction to Ensemble Methods}} | site=RDC | consulté le = 14 mai 2011}}.</ref>.

=== Planifier ===
Dans un projet d'exploration de données, il est essentiel de savoir ce qui est important et ce qui ne l'est pas, ce qui prend du temps et ce qui n'en prend pas ; ce qui ne coïncide pas toujours.
{| class="wikitable sortable centre" style="text-align:center; width:50%;"
|+ '''Estimation du temps à consacrer aux différentes étapes'''<ref name=tuff44 group=b>{{Harvsp|Tufféry|2010|p=44}}</ref>{{,}}<ref>{{Ouvrage |langue=en |prénom1=Dorian |nom1=Pyle |titre=Data Preparation for Data Mining |éditeur=Morgan Kaufmann |année=1999 |pages totales=560 |isbn=978-1-55860-529-9 |lire en ligne=https://books.google.com/books?id=hhdVr9F-JfAC&printsec=frontcover |consulté le=Date 14 mai 2011}}</ref>
|-
! scope=col | '''Tâches'''
! scope=col | '''Charge'''
! scope=col | '''Importance<br/>dans le projet'''
|-
| Inventaire, préparation et exploration des données
| 38 %
| 3
|-
| Élaboration - Validation des modèles
| 25 %
| 2
|-
| Restitution des résultats
| 12 %
| 4
|-
| Analyse des premiers tests
| 10 %
| 3
|-
| Définition des objectifs
| 8 %
| 1
|-
| Documentation - présentations
| 7 %
| 5
|}

Le cœur de l'exploration de données est constitué par la modélisation : toute la préparation est effectuée en fonction du modèle que l'analyste envisage de produire, les tâches effectuées ensuite valident le modèle choisi, le complètent et le déploient. La tâche la plus lourde de conséquences dans la modélisation consiste à déterminer le ou les algorithmes qui produiront le modèle attendu. La question importante est donc celle des critères qui permettent de choisir cet ou ces algorithmes.

== Algorithmes ==
Résoudre un problème par un processus d'exploration de données impose généralement l'utilisation d'un grand nombre de méthodes et d'algorithmes différents plus ou moins faciles à comprendre et à employer<ref>{{Lien web | langue = en| url = http://www.thearling.com/dmintro/dmintro.htm| site = thearling.com| titre = '{{Langue|en|'An Introduction to Data Mining}}'' | auteur1 = Kurt Thearling | page = 17 | consulté le = 14 mai 2011}}.</ref>. Il existe deux grandes familles d'algorithmes : les méthodes descriptives et les méthodes prédictives.

=== Méthodes descriptives ===
{{Article détaillé|Analyse des données}}

==== Définition ====
Les méthodes descriptives<ref>{{Lien web | url = http://data.mining.free.fr/cours/Descriptives.pdf | site = data.mining.free.fr | titre = Les techniques descriptives | auteur1 = Stéphane Tufféry | année=2007 | page = 5 | consulté le = 14 mai 2011| format électronique = pdf }}.</ref> permettent d'organiser, de simplifier et d'aider à comprendre l'information sous-jacente d'un ensemble important de données.

Elles permettent de travailler sur un ensemble de [[Donnée (statistique)|données]], organisées en instances de variables, dans lequel aucune des variables explicatives des individus n'a d'importance particulière par rapport aux autres. Elles sont utilisées par exemple pour dégager, d'un ensemble d'individus, des groupes homogènes en typologie, pour construire des normes de comportements et donc des déviations par rapport à ces normes telles que la détection de fraudes nouvelles ou inconnues à la carte bancaire ou à l'[[assurance maladie]], pour réaliser de la [[Compression informatique|compression d'informations]] ou de la [[compression d'image]], etc.

==== Exemples ====
[[Fichier:LOF.svg|vignette|droite|Repérer les données aberrantes et les éliminer.]]
[[Fichier:AirqACP.png|vignette|gauche|Un exemple d'analyse en composante principale faite avec les données disponibles sous R.]]
Parmi les techniques disponibles, celles qui sont issues de la statistique peuvent être exploitées. Sont regroupées sous le vocable [[Analyse factorielle|analyses factorielles]], des méthodes statistiques qui permettent de dégager des variables cachées dans un ensemble de mesures ; ces variables cachées sont appelées « facteurs ». Dans les analyses factorielles, on part du principe que si les données sont dépendantes entre elles, c'est parce qu'elles sont liées à des facteurs qui leur sont communs<ref>{{Lien web | url = https://www.uqtr.ca/cours/srp-6020/afe/afe.pdf | site = uqtr.ca | titre = Analyse factorielle exploratoire | auteur1 = Jacques Baillargeon | année = 2003 | page = 4 | consulté le = 14 mai 2011| format électronique = pdf }}.</ref>. L’intérêt des facteurs réside dans le fait qu'un nombre réduit de facteurs explique presque aussi bien les données que l'ensemble des variables, ce qui est utile quand il y a un grand nombre de variables<ref name=tuff161 group=b>{{Harvsp|Tufféry|2010|p=161}}</ref>. Les techniques factorielles se décomposent principalement en [[analyse en composantes principales]], [[analyse en composantes indépendantes]], [[analyse factorielle des correspondances]], [[analyse des correspondances multiples]] et [[positionnement multidimensionnel]]<ref name=PBesse78>{{Lien web | url = http://www.math.univ-toulouse.fr/~besse/pub/Explo_stat.pdf | site = math.univ-toulouse.fr | titre = Exploration Statistique | auteur1= Philippe Besse | auteur2 = Alain Baccini | mois = juin | année = 2010 | page=7 et suiv. | consulté le=14 mai 2011| format électronique = pdf }}.</ref>.

[[Fichier:HierarchicalClustering.png|vignette|Une classification hiérarchique faite avec les données disponibles sous R.]]

Pour fixer les idées, l'analyse en composantes principales fait correspondre à <math>m</math> variables ''quantitatives'' décrivant <math>p</math> individus, <math>n</math> facteurs, les composantes principales, de telle manière que la perte d'information soit minimum. En effet, les composantes sont organisées dans l'ordre croissant des pertes d'information, la première en perdant le moins. Les composantes sont non corrélées linéairement entre elles et les individus sont projetés sur les axes définis par les facteurs en respectant la distance qui existe entre eux. Les similitudes et les différences sont expliquées par les facteurs.

L'analyse factorielle des correspondances et l'ACM font correspondre à <math>m</math> variables ''qualitatives'' décrivant les caractéristiques de <math>p</math> individus, <math>n</math> facteurs en utilisant le [[tableau de contingence]], ou le [[tableau de Burt]] dans le cas de l'ACM, de telle manière que les facteurs soient constitués des variables numériques séparant le mieux les valeurs des variables qualitatives initiales<ref name=Tuff198 group=b>{{Harvsp|Tufféry|2010|p=198}}</ref>, que deux individus soient proches s'ils possèdent à peu près les mêmes valeurs des variables qualitatives et que les valeurs de deux variables qualitatives soient proches si ce sont pratiquement les mêmes individus qui les possèdent<ref name=Tuff198 group=b/>.

On peut aussi utiliser des méthodes nées dans le giron de l'[[intelligence artificielle]] et plus particulièrement dans celui de l'[[apprentissage automatique]]. La classification<ref name=PBesse78/> non supervisée est une famille de méthodes qui permettent de regrouper des individus en classes, dont la caractéristique est que les individus d'une même classe se ressemblent, tandis que ceux de deux classes différentes sont dissemblables. Les classes de la classification ne sont pas connues au préalable, elles sont découvertes par le processus. D'une manière générale, les méthodes de classification servent à rendre homogènes des données qui ne le sont pas à priori, et ainsi permettent de traiter chaque classe avec des algorithmes sensibles aux données aberrantes. Dans cette optique, les méthodes de classification forment une première étape du processus d'analyse.

Ces techniques empruntées à l'intelligence artificielle utilisent le [[Partitionnement de données|partitionnement]] de l'ensemble des informations mais aussi le [[Recouvrement (mathématiques)|recouvrement]]. Le partitionnement est l'objectif des algorithmes utilisant par exemple des méthodes telles que celles des ''{{Langue|en|[[k-means]]}}'' (les « nuées dynamiques » en français), des ''{{Langue|en|k-medoids}}''<ref group=b>{{Harvsp|Tufféry|2010|p=244}}</ref> ([[k-médoïdes]]), k-modes et k-prototypes, qu'on peut utiliser pour rechercher les aberrations (''{{Langue|en|outliers}}''), les [[Réseau de neurones artificiels|réseaux de Kohonen]], qui peuvent aussi servir à la classification<ref>{{Lien web | url = http://labo.algo.free.fr/neuro/reseau_de_neurones_artificiel.html | site = labo.algo.free.fr | titre= Réseaux de neurones artificiels : une petite introduction | auteur1= Alexandre Aupetit | mois = mai | année = 2004 | consulté le = 14 mai 2011}}.</ref>, l'[[Algorithme espérance-maximisation|algorithme EM]] ou l'[[AdaBoost]]. La [[Regroupement hiérarchique|classification hiérarchique]] est un cas particulier de partitionnement pour lequel les graphiques produits sont facilement compréhensibles. Les méthodes ascendantes partent des individus qu'on agrège en classes, tandis que les méthodes descendantes partent du tout et par divisions successives arrivent aux individus qui composent les classes. Ci-contre le graphique d'une classification ascendante a été tracé pour montrer comment les classes les plus proches sont reliées entre elles pour former des classes de niveau supérieur.

Le recouvrement à [[logique floue]] est une forme de recouvrement de l'ensemble des individus représentés par les lignes d'une matrice où certains d'entre eux possèdent une probabilité non nulle d'appartenir à deux classes différentes. L'algorithme le plus connu de ce type est le FCM (''{{Langue|en|Fuzzy c-means}}'')<ref>{{Lien web | langue=en | url=http://www.comp.ita.br/~forster/CC-222/material/fuzzyclust/fuzzy01492404.pdf | site=comp.ita.br | titre = {{Langue|en|Fuzzy c-Means Clustering of Incomplete Data}} | auteur1 = Nikhil R. Pal | auteur2 = Kuhu Pal | auteur3 = James M. Keller | auteur4 = James C. Bezdek | mois = août | année = 2005 | consulté le = 14 mai 2011| format électronique=pdf }}.</ref>.

Il faut aussi mentionner l’ [[Iconographie des corrélations]] associée à l’utilisation des [[Interactions logiques]], méthode géométrique qui se prête bien à l’analyse des réseaux complexes de relations multiples.

En [[bio-informatique]], des techniques de [[classification double]] sont employées pour regrouper simultanément dans des classes différentes les individus et les variables qui les caractérisent.

Pour rendre compte de l'utilité de ces méthodes de recouvrement, il faut se rappeler que la classification est un problème dont la grande complexité a été définie par [[Eric Temple Bell|Eric Bell]]. Le [[Nombre de Bell|nombre de partitions]] d'un ensemble de <math>n</math> objets est égal à : <math>B_n=\frac{1}{e}\sum_{k=0}^\infty \frac{k^n}{k!} > e^n </math>. Il vaut donc mieux avoir des méthodes efficaces et rapides pour trouver une partition qui répond au problème posé plutôt que de parcourir l'ensemble des solutions possibles.

Enfin, quand l'analyse se porte non pas sur les individus, les items ou les objets, mais sur les relations qui existent entre eux, la recherche de [[Règle d'association|règles d'associations]] est l'outil adapté. Cette technique est, à l'origine, utilisée pour faire l'analyse du panier d'achats ou l'analyse de séquences. Elle permet, dans ce cas, de savoir quels sont les produits achetés simultanément, dans un supermarché par exemple, par un très grand nombre de clients ; elle est également appliquée pour résoudre des problèmes d'analyse de parcours de navigation de sites web. La recherche de règles d'association peut être utilisée de manière supervisée ; les algorithmes [[Algorithme APriori|APriori]], [[Global Reporting Initiative|GRI]], Carma, méthode ARD ou encore [[PageRank]] se servent de cette technique<ref name=Top10A>{{Lien web | langue = en | url = http://www.cs.uvm.edu/~icdm/algorithms/10Algorithms-08.pdf | site = cs.uvm.edu | titre = {{Langue|en|ICDM Top 10 algorithms in data mining}} | consulté le = 14 mai 2011| format électronique = pdf}}.</ref>.

=== Méthodes prédictives ===
{{Article détaillé|Analyse prédictive}}
[[Image:LinearRegressionR.png|vignette|droite|[[Régression linéaire]].]]

==== Définition ====
La raison d'être des méthodes prédictives est d'expliquer ou de prévoir un ou plusieurs phénomènes observables et effectivement mesurés. Concrètement, elles vont s'intéresser à une ou plusieurs variables définies comme étant les cibles de l'analyse. Par exemple, l'évaluation de la probabilité pour qu'un individu achète un produit plutôt qu'un autre, la probabilité pour qu'il réponde à une opération de [[marketing direct]], celles qu'il contracte une maladie particulière, en guérisse, les chances qu'un individu ayant visité une page d'un site web y revienne, sont typiquement des objectifs que peuvent atteindre les méthodes prédictives.

En exploration de données prédictive, il y a deux types d'opérations : la discrimination ou classement, et la régression ou prédiction, tout dépend du type de variable à expliquer. La discrimination s’intéresse aux variables qualitatives, tandis que la régression s’intéresse aux variables continues<ref name=tuff297 group=b>{{Harvsp|Tufféry|2010|p=297}}</ref>.

Les méthodes de classement et de prédiction permettent de séparer des individus en plusieurs classes. Si la classe est connue au préalable et que l'opération de classement consiste à analyser les caractéristiques des individus pour les placer dans une classe, la méthode est dite « supervisée<ref name=Nibet235 group=b>{{Harvsp|Nisbet|Elder|Miner|2009|p=235}}</ref> ». Dans le cas contraire, on parle de méthodes « non-supervisées », ce vocabulaire étant issu de l'[[apprentissage automatique]]. La différence entre les méthodes descriptives de classification que l'on a vues précédemment, et les méthodes prédictives de classement provient du fait que leur objectif est divergent : les premières « réduisent, résument, synthétisent les données<ref name=tuff161 group=b/> » pour donner une vision plus claire de l'amas de données, alors que les secondes expliquent une ou plusieurs variables cibles en vue de la prédiction des valeurs de ces cibles pour les nouveaux arrivants.

==== Exemples ====
[[Image:CART tree titanic survivors.png|vignette|gauche|Un exemple d'arbre de décision utilisant la méthode CART, sur les données de la population du ''[[Titanic]]'']]
On peut référencer quelques exemples de méthodes prédictives<ref group=notes>Dont on peut trouver, pour certaines, la description ici : {{Lien web | url=http://guillaume.calas.free.fr/data/Publications/DM-Algos.pdf | site = guillaume.calas.free.fr | titre=Études des principaux algorithmes de data mining| auteur1 = Guillaume Calas | année = 2009 | consulté le = 14 mai 2011| format électronique = pdf }}.</ref>, et les présenter selon le domaine d'où elles proviennent.

Parmi les méthodes issues de l'intelligence artificielle, l'analyste pourra utiliser les [[Arbre de décision|arbres de décision]]<ref>{{Lien web | langue = en | url = http://www.math.ccu.edu.tw/~yshih/papers/sinica.pdf | site = math.ccu.edu.tw | titre = {{Langue|en|Split Selection Methods for Classification Trees}} | auteur1 = Wei-Yin Loh | auteur2=Yu-Shan Shih | année= 1997 | consulté le = 14 mai 2011| format électronique = pdf }}.</ref>{{,}}<ref>{{Lien web | langue = en | url = http://www.springerlink.com/content/u0p06167n6173512/fulltext.pdf | site = springerlink.com | titre= {{Langue|en|Random Forests}} | auteur1= [[Leo Breiman]] | année = 2001 |consulté le = 14 mai 2011| format électronique = pdf }}.</ref>, parfois pour la prédiction, parfois pour discrétiser les données quantitatives<ref>{{Lien web | url=http://www-rocq.inria.fr/axis/modulad/archives/numero-33/tutorial-rakotomalala-33/rakotomalala-33-tutorial.pdf | site=rocq.inria.fr | titre = Arbres de Décision | auteur1 = Ricco Rakotomalala | année = 2005 | consulté le =14 mai 2011| format électronique=pdf }}.</ref>{{,}}<ref group=notes>Comme [[algorithme CART|CART]], [[CHAID]], [[CHAID|ECHAID]], [[QUEST (arbre de décision)|QUEST]], [[Algorithme C4.5|C5]], [[Algorithme C4.5|C4.5]] et les [[Forêt d'arbres décisionnels|forêts d'arbres décisionnels]]</ref>, le [[raisonnement par cas]], les [[Réseau de neurones artificiels|réseaux de neurones]]<ref group=notes>Tels que les [[perceptron]]s mono ou multicouches avec ou sans [[Réseau de neurones artificiels#Rétropropagation|rétropropagation des erreurs]]</ref>, les [[Neurone formel#Autres neurones formels|neurones à base radiale]]<ref>{{Ouvrage| langue=en| prénom1=Simon| nom1=Haykin| titre=Neural Networks| sous-titre=A comprehensive Foundation| éditeur=[[Prentice Hall]]| année=1998| pages totales=842| isbn=978-0-13-273350-2| consulté le=14 mai 2011}}</ref>{{,}}<ref>{{Lien web| url = http://www.labunix.uqam.ca/~boukadoum_m/DIC9315/Notes/NN/6_rbf.ppt | site = labunix.uqam.ca | titre = Réseaux de neurones à base radiale | auteur1 = M. Boukadoum | consulté le = 14 mai 2011| format électronique = ppt }}.</ref> pour la classification et l'approximation de fonctions, ou peut-être les [[algorithmes génétiques]], certains en appui des réseaux bayésiens<ref>{{Lien web | url = http://naku.dohcrew.com/dea-ecd/Tremeaux-genetic-bayesnet.pdf | site = naku.dohcrew.com | titre= Algorithmes génétiques pour l'identification structurelle des réseaux bayésiens | auteur1 = Jean-Marc Trémeaux | année = 2006 | consulté le =14 mai 2011| format électronique = pdf }}.</ref>, d'autres comme ''Timeweaver'' en recherche d'[[Événement (probabilités)|évènements]] rares<ref>{{Lien web| url= http://www.sc-eco.univ-nantes.fr/~tvallee/recherche/murat/agpresf42.pdf | site= sc-eco.univ-nantes.fr | titre= Présentation des algorithmes génétiques et de leurs applications en économie | auteur1= Thomas Vallée | auteur2= Murat Yıldızoğlu | année= 2003 | page= 15 | consulté le= 14 mai 2011 | format électronique= pdf}}.</ref>.

Si l'analyste est plus enclin à utiliser les méthodes issues de la statistique et des probabilités, il se tournera vers les techniques de régressions linéaires ou non linéaires au sens large<ref group=notes>Telles que la [[régression linéaire]], [[Régression linéaire multiple|linéaire multiple]], [[Régression logistique|logistique]], [[régression PLS|PLS]], [[ANOVA]], [[MANOVA]], [[ANCOVA]] ou [[MANCOVA]].</ref> pour trouver une fonction d'approximation, l'[[Analyse discriminante#Un exemple|analyse discriminante de Fisher]], la [[régression logistique]], et la régression logistique PLS pour prédire une variable catégorielle, ou bien le [[modèle linéaire généralisé]] (GLM), le [[modèle additif généralisé]] (GAM) ou [[modèle log-linéaire]], et les modèles de régression multiple postulés et non postulés afin de prédire une variable multidimensionnelle.

Quant à l'[[inférence bayésienne]] et plus particulièrement les [[Réseau bayésien|réseaux bayésiens]]<ref>{{Lien web | url = http://liris.cnrs.fr/amille/enseignements/master_ia/rapports_2006/Reseau%20Bayesien%20SYNTHESE%20ECRITE.pdf | site = liris.cnrs.fr | titre = Les Réseaux Bayésiens | auteur1=Olivier Parent | auteur2=Julien Eustache | année = 2006 | consulté le = 14 mai 2011| format électronique = pdf }}.</ref>{{,}}<ref>{{Lien web | url = http://www.gillesbalmisse.com/IMG/pdf/GB_RB.pdf | site = gillesbalmisse.com | titre= Les Réseaux Bayésiens | auteur1 = Gilles Balmisse | année = 2006 |consulté le = 14 mai 2011| format électronique = pdf }}.</ref>, ils pourront être utile à l'analyste si celui-ci cherche les causes d'un phénomène ou bien cherche la probabilité de la réalisation d'un évènement<ref>{{Lien web | url = http://samos.univ-paris1.fr/archives/ftp/preprints/samos175.pdf | site = samos.univ-paris1.fr | titre = Les Réseaux Bayésiens | auteur1=Samos | année = 2003 | consulté le = 14 mai 2011| format électronique = pdf }}.</ref>{{,}}<ref>{{Lien web | url = http://www.bayesia.com/fr/technologie/reseaux-bayesiens.php | titre = Pour sortir de l'incertitude, entrez dans l'ère des réseaux bayésiens | éditeur = Bayesia | consulté le = 14 mai 2011}}.</ref>.

S'il souhaite compléter les données manquantes, la méthode des [[Recherche des plus proches voisins|k plus proches voisins (K-nn)]] reste à sa disposition<ref>{{Lien web | url = http://perso.univ-rennes1.fr/valerie.monbet/doc/cours/IntroDM/Chapitre4.pdf | site = perso.univ-rennes1.fr | titre= Les données manquantes | auteur1 = Valérie Monbet | page = 27 | consulté le = 14 mai 2011}}.</ref>.

[[Image:LiftCurve01.png|vignette|[[Courbe lift]] évaluant la performance d'un modèle ''{{Langue|en|random forest}}'' sur les données Kyphosis.]]
[[Image:ROCCurve02.png|vignette|[[Courbe ROC|Courbes ROC]] comparant la performance en classification de cinq modèles d'apprentissage automatique sur les données du [[cancer du sein]].]]

La liste des algorithmes évolue chaque jour, car ils n'ont pas tous le même objet, ne s'appliquent pas aux mêmes données en entrée et aucun n'est optimal dans tous les cas. En outre, ils s'avèrent complémentaires les uns aux autres en pratique et en les combinant intelligemment en construisant des modèles de modèles ou [[métamodèle]]s, il est possible d'obtenir des gains en performance et en qualité très significatifs. L'ICDM-IEEE a fait en [[2006 en science|2006]] un classement des 10 algorithmes<ref name=Top10A/> ayant le plus d'influence dans le monde de l'exploration de données : ce classement est une aide efficace au choix et à la compréhension de ces algorithmes.

L'[[université Stanford]] a mis en concurrence à sa rentrée d'automne [[2007 en science|2007]] deux équipes sur le projet suivant : en s'appuyant sur la base de films visualisés par chaque client d'un réseau de distribution dont les abonnements sont payés par carte magnétique, déterminer l'audience la plus probable d'un film qui n'a pas encore été vu. Une équipe s'est orientée sur une recherche d'algorithmes extrêmement fins à partir des informations de la base, une autre au contraire a pris des algorithmes extrêmement simples, mais a combiné la base fournie par le distributeur au contenu de l’''[[Internet Movie Database]]'' (IMDB) pour enrichir ses informations. La seconde équipe a obtenu des résultats nettement plus précis. Un article<ref>{{Lien web | url = http://media-tech.blogspot.com/2008/03/pagerank-de-google-lalgorithme-prend-en.html | site = media-tech.blogspot.com | titre=PageRank de Google : l'algorithme prend en compte 200 paramètres ! | auteur1= Didier Durand| année=2008 | page= | consulté le = 14 mai 2011}}.</ref> suggère que l'efficacité de [[Google]] tient moins à son algorithme ''[[PageRank]]'' qu'à la très grande quantité d'information que Google peut corréler par croisement des historiques de requêtes, et par l'analyse du comportement de navigation de ses utilisateurs sur les différents sites.

Avec les moyens modernes de l'informatique l'une ou l'autre de ces deux solutions peut s'envisager dans chaque projet, mais d'autres techniques sont apparues qui ont prouvé leur efficacité pour améliorer la qualité des modèles et leur performance.

==== Qualité et performance ====
Un modèle de qualité est un modèle rapide, dont le taux d'erreur doit être le plus bas possible. Il ne doit pas être sensible aux fluctuations de l'[[Échantillon (statistiques)|échantillon]] pour ce qui concerne les méthodes supervisées, il doit être robuste et supporter des changements lents intervenants sur les données.
En outre, le fait d'être simple, compréhensible et produire des résultats interprétables facilement, augmente sa valeur. Enfin, il est paramétrable pour être réutilisable<ref>{{Lien web | url = http://bliaudet.free.fr/IMG/pdf/Cours_de_data_mining_3-Modelisation-EPF.pdf | site = bliaudet.free.fr | titre = Cours de Data Mining 3 : Modelisation Présentation Générale | auteur1 = Bertrand Liaudet | consulté le=14 mai 2011| format électronique = pdf }}.</ref>.

Plusieurs indicateurs sont utilisés pour évaluer la qualité d'un modèle, et parmi ceux-ci les courbes [[Receiver Operating Characteristic|ROC]] et [[courbe lift|lift]], l'[[Coefficient de Gini|indice de Gini]] et l'[[erreur quadratique moyenne]] montrent où se situe la prédiction par rapport à la réalité et donnent ainsi une bonne idée de la valeur de cette composante de la qualité du modèle.

La robustesse et la précision<ref name=tuff518 group=b>{{Harvsp|Tufféry|2010|p=518}}</ref>{{,}}<ref group=notes>Voir [[Glossaire du data mining]] pour la définition de « robustesse » et « précision ».</ref> sont deux autres facettes de la qualité du modèle. Pour obtenir un modèle performant, la technique consiste à limiter l'hétérogénéité des données, optimiser l’échantillonnage ou combiner les modèles.

La pré-segmentation se propose de classifier la population, puis de construire un modèle sur chacune des classes dans lesquelles les données sont plus homogènes et enfin d'en agréger les résultats.

Avec l'agrégation de modèles, l'analyste applique le même modèle à des échantillons légèrement différents issus de l'échantillon initial, pour ensuite associer les résultats. Le ''{{Langue|en|[[bagging]]}}'' et le ''{{Langue|en|[[boosting]]}}'' étaient les deux techniques les plus efficaces et les plus populaires en 1999<ref name=PEMES1>{{Lien web | langue = en | url = http://www.d.umn.edu/~rmaclin/cs5751/notes/opitz-jair99.pdf | site = d.umn.edu | titre = {{Langue|en|Popular Ensemble Methods: An Empirical Study}} | auteur1 = David Opitz | auteur2=Richard Maclin | année= 1999 | consulté le =14 mai 2011| format électronique = pdf }}.</ref>. En marketing par exemple, [[Modèle uplift|l'algorithme Uplift]] utilise la technique du bagging pour produire un modèle d'identification de groupes de personnes pouvant répondre à une offre commerciale après sollicitation.

Enfin, la combinaison de modèles conduit l'analyste à appliquer plusieurs modèles sur une même population et à combiner les résultats. Des techniques telles que l'analyse discriminante et les réseaux de neurones par exemple, se marient aisément.

== Outils informatiques ==
=== Logiciels ===
{{Section à recycler|date=6 janvier 2024|motif=obsolète, à actualiser, notamment avec le lien https://www.kdnuggets.com/2019/05/poll-top-data-science-machine-learning-platforms.html }}
La fouille de données n'existerait pas sans outil. L'offre informatique est présente sous la forme de [[logiciel]]s<ref>{{Lien web | langue = en | url = http://www.kdnuggets.com/software/suites.html#B | titre = {{Langue|en|Software Suites for Data Mining, Analytics, and Knowledge Discovery}} | site=kdnuggets.com| consulté le = 15 mai 2011}}.</ref> et aussi sur quelques plateformes spécialisées<ref>{{Lien web| url = http://www.marketingvirtuel.fr/2009/03/17/twofish-lance-une-plateforme-de-datamining-pour-les-editeurs-dunivers-virtuels/ | site = marketingvirtuel.fr | titre = Plateforme de datamining pour les editeurs d'univers virtuels | consulté le = 15 mai 2011}}.</ref>. De nombreux logiciels sont présents dans la sphère des [[Logiciel propriétaire|logiciels commerciaux]], mais il en existe aussi dans celle des [[logiciels libres]]. Il n'y a pas de logiciels meilleurs que d'autres, tout dépend de ce qu'on veut en faire<ref>{{Lien web| langue= en | url= http://datamininglab.com/Portals/0/tool%20eval%20articles/smc98_abbott_mat_eld.pdf | site= datamininglab.com | titre = {{Langue|en|1998 IEEE International Conference on Systems, Man, and Cybernetics, San Diego, CA}} | auteur1 = Dean W. Abbott | prénom2 = I. Philip | nom2 = Matkovsky | auteur3 = John Elder IV | date = 14 octobre 1998 | consulté le = 15 mai 2011| format électronique= pdf }}.</ref>. Les logiciels commerciaux sont plutôt destinés aux entreprises, ou aux organismes ayant de gros volumes de données à explorer<ref name=tuff121 group=b>{{Harvsp|Tufféry|2010|p=121}}</ref>, tandis que les logiciels libres sont destinés plus particulièrement aux étudiants, à ceux qui veulent expérimenter des techniques nouvelles, et aux PME<ref name=tuff121 group=b/>. En [[2009 en science|2009]]<ref>{{Lien web | langue= en | url= http://www.kdnuggets.com/polls/2009/data-mining-tools-used.htm | site= kdnuggets.com | titre = {{Langue|en|Data Mining Tools Used Poll}} | année= 2009| consulté le = 15 mai 2011}}.</ref>, les outils les plus utilisés sont, dans l'ordre, [[SPSS]], {{Lien|langue=en|trad=RapidMiner|fr=RapidMiner|texte=RapidMiner}}, [[SAS (langage)|SAS]], [[Excel]], [[R (logiciel)|R]], {{Lien|langue=en|trad=KXEN Inc.|fr=KXEN|texte=KXEN}}, [[Weka (apprentissage automatique)|Weka]], [[Matlab]], [[KNIME]], [[Microsoft SQL Server]], {{Lien|langue=en|trad=Oracle Data Mining|fr=Oracle Data Mining|texte=Oracle DM}}, [[STATISTICA]] et CORICO ([[Iconographie des corrélations]]). En [[2010 en science|2010]], R<ref>{{Lien web|langue=en|url=http://www.rexeranalytics.com/Data-Miner-Survey-Results-2010.html|site=rexeranalytics.com|titre={{Langue|en|2010 Data Miner Survey}}|nom1=Rexer Analytics|consulté le=19 juin 2011}}.</ref> est l'outil le plus utilisé parmi les utilisateurs ayant répondu au sondage de ''{{Langue|en|Rexer Analytics}}''<ref>{{Lien web|langue=en|url=http://www.rexeranalytics.com/index.html|titre={{Langue|en|Rexer Analytics}}|éditeur=''{{Langue|en|Rexer Analytics}}''|consulté le=19 juin 2011}}.</ref> et ''STATISTICA'' apparaît comme l'outil préféré de la plupart des prospecteurs de données (18 %). ''STATISTICA'', IBM SPSS Modeler, et R ont reçu les taux de satisfaction les plus élevés à la fois en 2010 et 2009 dans ce sondage de ''{{Langue|en|Rexer Analytics}}''.
{{Article détaillé|Logiciels de fouille de données}}

=== Informatique en nuage ===
L’[[Cloud computing|informatique en nuage]] (''{{Langue|en|cloud computing}}'') n’est pas un outil d’exploration de données, mais un ensemble de services web, délivrés par des fournisseurs via l'internet, permettant d’accueillir et/ou d’utiliser des données et des logiciels<ref name=beye>{{Lien web|en|en|url=http://www.b-eye-network.com/view/12100|site=b-eye-network.com|titre={{Langue|en|What’s Up with Cloud Analytics?}}|auteur1=Dave Wells|consulté le=2 juin 2011}}.</ref>. Néanmoins, il existe des services qui peuvent être utilisés dans le domaine de l’exploration de données. ''{{Langue|en|Oracle Data mining}}'' s’expose sur l’IaaS d’Amazon<ref group=notes>IaaS signifiant [[Infrastructure as a service]] dénommé ''{{Langue|en|Amazon Elastic Compute Cloud}}'' chez Amazon</ref> en proposant aux clients une ''{{Langue|en|Amazon Machine Image}}''<ref>{{Lien web|en|en|url=http://www.oracle.com/technetwork/topics/cloud/oracle-aws-getting-started-twp-171089.pdf|site=oracle.com|titre=Oracle Database on Amazon EC2 : An Oracle White Paper|auteur1=John Smiley|auteur2=Bill Hodak|consulté le =4 juin 2011|pdf}}.</ref> contenant une base de données Oracle incluant une IHM pour la fouille de données ; une image pour R et Python est disponible aussi sur ''{{Langue|en|Amazon Web Services }}''<ref>{{Lien web|en|en|url=http://www.kdnuggets.com/2011/04/amazon-cloud-computing-with-python-and-r.html|site=kdnuggets.com|titre=Amazon EC2 configuration for scientific computing in Python and R|auteur1=Drew Conway|consulté le =4 juin 2011|pdf}}.</ref>.

Des acteurs présents exclusivement dans le nuage et spécialisés dans le domaine de la fouille de données proposent leurs services comme ''Braincube'', ''{{Langue|en|In2Cloud}}'', ''{{Langue|en|Predixion}}'' et ''{{Langue|en|Cloud9Analytics}}'' entre autres.

== Limites et problèmes ==
L'exploration des données est une technique ayant ses limites et posant quelques problèmes<ref>{{Lien web | langue = en | url = http://biotech.law.lsu.edu/blaw/crs/RL31798.pdf | site = biotech.law.lsu.edu | titre = {{Langue|en|CRS report for congress}} | auteur1 = Jeffrey Seifer | année= 2007 | consulté le = 15 mai 2011| format électronique = pdf }}.</ref>.

=== Limites ===
Les logiciels ne sont pas auto-suffisants. Les outils d'exploration des données ne proposent pas d'interprétation des résultats, un analyste spécialiste de la fouille de données et une personne connaissant le métier duquel sont extraites les données sont nécessaires pour analyser les livrables du logiciel.

En outre, les logiciels d'exploration de données donnent toujours un résultat, mais rien n'indique qu'il soit pertinent, ni ne donne une indication sur sa qualité. Mais, de plus en plus, des techniques d'aide à l'évaluation sont mises en place dans les logiciels libres ou commerciaux.

Les relations entre les variables ne sont pas clairement définies. Les outils d'exploration des données indiquent que telles et telles variables ont une influence sur la variable à expliquer, mais ne disent rien sur le type de relation, en particulier il n'est pas dit si les relations sont [[causalité|de cause à effet]].

De plus, il peut être très difficile de restituer de manière claire soit par des graphes, des courbes ou des histogrammes, les résultats de l'analyse. Le non-technicien aura quelquefois du mal à comprendre les réponses qu'on lui apporte.

=== Problèmes ===
{{Article détaillé|Glossaire de l'exploration de données}}

La [[qualité des données]], c'est-à-dire la pertinence et la complétude des données, est une nécessité pour l'exploration des données, mais ne suffit pas. Les erreurs de saisies, les enregistrements doublonnés, les données non renseignées ou renseignées sans référence au temps affectent aussi la qualité des données. Les entreprises mettent en place des structures et des démarches d'assurance qualité des données pour pouvoir répondre efficacement aux nouvelles réglementations externes, aux audits internes, et augmenter la rentabilité de leurs données qu'elles considèrent comme faisant partie de leur patrimoine<ref>{{Lien web|auteur1=Laetitia Hardy| url = http://www.decideo.fr/Pourquoi-la-qualite-des-donnees-devient-incontournable-au-sein-de-l-entreprise_a1951.html | titre = Pourquoi la qualité des données devient incontournable au sein de l’entreprise ?| site=decideo.fr| année = 2007 | consulté le = 15 mai 2011}}.</ref>.

L'[[Interopérabilité en informatique|interopérabilité]] d'un système est sa capacité à fonctionner avec d'autres systèmes, créés par des éditeurs différents. Les systèmes d'exploration de données doivent pouvoir travailler avec des données venant de plusieurs systèmes de gestion de [[bases de données]], de type de fichier, de [[type de données]] et de capteurs différents. En outre, l’interopérabilité a besoin de la qualité des données. Malgré les efforts de l'industrie en matière d'interopérabilité, il semble que dans certains domaines ce ne soit pas la règle<ref>{{Lien web | langue= en | url= http://biotech.law.lsu.edu/blaw/crs/RL31798.pdf | site= biotech.law.lsu.edu | titre = {{Langue|en|CRS report for congress}} | auteur1= Jeffrey Seifert | année = 2007 | page = 27 | consulté le = 15 mai 2011| format électronique= pdf }}.</ref>.

Les données sont collectées dans le but de répondre à une question posée par le métier. Un risque de l'exploration de données est l'utilisation de ces données dans un autre but que celui assigné au départ. Le détournement des données est l'équivalent d'une citation hors de son contexte. En outre, elle peut conduire à des problèmes éthiques.

La [[Vie privée et informatique|vie privée]] des personnes peut être menacée par des projets d'exploration de données, si aucune précaution n'est prise, notamment dans la [[fouille du web]] et l'utilisation des [[données personnelles]] collectées sur Internet où les habitudes d'achats, les préférences, et même la santé des personnes peuvent être dévoilées. Un autre exemple est fourni par l'''{{Langue|en|[[Information Awareness Office]]}}'' et en particulier le programme ''{{Langue|en|Total Information Awareness}}'' (TIA)<ref>{{Lien web | langue = en | url = http://www.cs.umbc.edu/~kunliu1/p3dm08/ | site = cs.umbc.edu | titre= {{Langue|en|International Workshop on Practical Privacy-Preserving Data Mining}} | année = 2008| consulté le = 15 mai 2011}}.</ref> qui exploitait pleinement la technologie d'exploration de données et qui fut un des projets « [[Attentats du 11 septembre 2001|post-11 septembre]] » que le [[Congrès des États-Unis]] avait commencé à financer, puis qu'il a abandonné à cause des menaces particulièrement importantes que ce programme faisait peser sur la vie privée des citoyens américains. Mais même sans être dévoilées, les données des personnes recueillies par les entreprises, via les outils de [[gestion de la relation client]] (CRM), les [[caisse enregistreuse|caisses enregistreuses]], les [[Distributeur automatique de billets|DAB]], les [[Carte Vitale|cartes santé]]{{etc.}}, peuvent conduire, avec les techniques de fouille de données, à classer les personnes en une hiérarchie de groupes, de bons à mauvais, [[Prospect (marketing)|prospects]], clients, patients, ou n'importe quel rôle que l'on joue à un instant donné dans la [[vie sociale]], selon des critères inconnus des personnes elles-mêmes<ref>{{Lien web | langue= en | url= http://www.fidis.net/fileadmin/journal/issues/1-2007/Privacy_Preserving_Data_Mining.pdf | site= fidis.net | titre = {{Langue|en|Privacy Preserving Data Mining}} | auteur1= Martin Meint | auteur2 = Jan Möller | consulté le = 15 mai 2011| format électronique= pdf }}.</ref>{{,}}<ref>{{Lien web | langue= en | url= http://www.irma-international.org/chapter/legal-technical-issues-privacy-preservation/10968/ | site= irma-international.org | titre = {{Langue|en|Legal and Technical Issues of Privacy Preservation in Data Mining}} | auteur1= Kirsten Wahlstrom | auteur2 = John F. Roddick | auteur3 = Rick Sarre | auteur4 = Vladimir Estivill-Castro | auteur5 = Denise de Vries | année = 2007 | consulté le = 15 mai 2011}}.</ref>. Dans cette optique, et pour corriger cet aspect négatif, [[Rakesh Agrawal]] et [[Ramakrishnan Sikrant]] s'interrogent sur la faisabilité d'une exploration de données qui préserverait la vie privée des personnes<ref>{{Lien web | langue = en | url = http://www.cs.utexas.edu/~shmat/courses/cs395t_fall05/ppdm.pdf | site = cs.utexas.edu | titre = {{Langue|en|privacy-Preserving Data mining}} | auteur1= [[Rakesh Agrawal]] | auteur2=[[Ramakrishnan Sikrant]] | consulté le = 15 mai 2011| format électronique = pdf }}.</ref>{{,}}<ref group=notes>Puisque les modèles de l'exploration de données concernent les données agrégées d'où sont éliminées les données personnelles.</ref>. Le stockage des données nécessaire à la fouille pose un autre problème dans la mesure où les [[données numériques]] peuvent être [[Hacking|piratées]]. Et dans ce cas l'éclatement des données sur des bases de données distribuées<ref>{{Lien web | langue= en | url= http://wiki.kdubiq.org/summerschool2008/uploads/Main/SS08/Lectures/Kantarcioglu_kdubiq08-talk.pdf | site= wiki.kdubiq.org | titre= {{Langue|en|Introduction to Privacy Preserving Distributed Data Mining}} | auteur1= Murat Kantarcioglu | consulté le= 15 mai 2011 | format électronique= pdf}}.</ref> et la [[cryptographie]] font partie des réponses techniques qui existent et qui peuvent être mises en place par les entreprises.

== Fouilles spécialisées ==
Certaines entreprises ou groupes se sont spécialisés, avec par exemple [[Acxiom]], [[Experian Information Solutions]], [[D & B]], et [[Harte-Hanks]] pour les données de consommation ou [[Nielsen N.V.]] pour les données d'audience.

Outre l'exploration de données (décrite plus haut) qu'on peut maintenant qualifier de classique, des spécialisations techniques de l'exploration de données telles que la [[fouille d'images]] (''{{langue|en|image mining}}''), la [[fouille du web]] (''{{langue|en|web data mining}}''), la [[fouille de flots de données]] (''{{langue|en|data stream mining}}'') et la [[fouille de textes]] (''{{langue|en|text mining}}'') sont en plein développement dans les années 2010 et concentrent l'attention de nombreux chercheurs et industriels, y compris pour les risques de diffusion de [[données personnelles]] qu'elles font courir aux individus.

Des logiciels de catégorisation des individus selon leur milieu social et leurs caractérisations de consommateurs sont utilisés par ces entreprises (ex : [[Claritas Prizm]] (créé par [[Claritas Inc.]] et racheté par [[Nielsen Company]].

=== Par types de données ===
La [[fouille audio]], technique récente, parfois apparentée à la fouille de données, permet de reconnaître des sons dans un flux audio. Elle sert principalement dans le domaine de la [[reconnaissance vocale]] et/ou s'appuie sur elle.

La [[fouille d'images]]<ref>{{Lien web| url= http://liris.cnrs.fr/as50/Journee-7-juillet/Gros-presentation.pdf| site= liris.cnrs.fr| titre= Nouvelles de l’AS fouille d’images & Émergence de caractéristiques sémantiques| auteur1= Patrick Gros| date= 16 juillet 2003| consulté le= 15 mai 2011| format électronique= pdf| brisé le= }}.</ref> est la technique qui s’intéresse au contenu de l'image. Elle extrait des [[Extraction de caractéristique en vision par ordinateur|caractéristiques]] dans un ensemble d'images, par exemple du web, pour les classer, les regrouper par type ou bien pour reconnaître des formes dans une image dans le but de chercher des copies de cette image ou de [[détection d'objet|détecter un objet]] particulier, par exemple.

La [[fouille de textes]] est l'exploration des textes en vue d'en extraire une connaissance de haute qualité. Cette technique est souvent désignée sous l'anglicisme ''{{Langue|en|text mining}}''. C'est un ensemble de traitements informatiques consistant à extraire des connaissances selon un critère de nouveauté ou de similarité, dans des textes produits par des humains pour des humains. Dans la pratique, cela revient à mettre en [[Algorithmique|algorithmes]] un modèle simplifié des [[Linguistique|théories linguistiques]] dans des systèmes informatiques d'apprentissage et de statistiques. Les disciplines impliquées sont donc la [[Linguistique informatique|linguistique calculatoire]], l'[[Traitement automatique du langage naturel|ingénierie du langage]], l'[[Apprentissage automatique|apprentissage artificiel]], les [[statistique]]s et l'[[informatique]].

=== Par environnements techniques ===
Il s'agit d'exploiter, avec la [[fouille du web]], l'énorme source de données que constitue le web et trouver des modèles et des schémas dans l'usage, le contenu et la structure du web. La fouille de l'usage du web (''{{Langue|en|Web usage mining}}'' ou ''{{Langue|en|Web log mining}}'') est le processus d'extraction d'informations utiles stockées dans les journaux des serveurs. Cette fouille exploite la fouille de textes pour analyser les documents textes. La fouille de la structure du web est le processus d'analyse des relations, inconnues à priori, entre documents ou pages stockés sur le web.

La [[fouille de flots de données]] (''{{Langue|en|data stream mining}}'')<ref name=DMreview>{{Lien web | langue = en | url = http://www.sigmod.org/publications/sigmod-record/0506/p18-survey-gaber.pdf | site = sigmod.org | titre = {{Langue|en|Data Streams: A Review}} | prénom1 = Mohamed Medhat | nom1 = Gaber | auteur2 = Arkady Zaslavsky | auteur3 = Shonali Krishnaswamy | année = 2005 | consulté le = 15 mai 2011| format électronique = pdf }}.</ref> est la technique qui consiste à explorer les données qui arrivent en un flot continu<ref>{{Lien web | langue = en | url = http://www.siam.org/proceedings/datamining/2005/dm05_07linc.pdf | site = siam.org | titre = {{Langue|en|Mining Frequent Itemsets from Data Streams with a Time-Sensitive Sliding Window}} | auteur1 = Chih-Hsiang Li | auteur2 = Ding-Ying Chiu | auteur3 = Yi-Hung Wu | prénom4 = Arbee L. P. | nom4 = Chen | année= 2005 | consulté le = 15 mai 2011| format électronique = pdf }}.</ref>, illimité, avec une grande rapidité, et dont certains paramètres fondamentaux se modifient avec le temps : par exemple, l'analyse des flots de données émis par des capteurs automobiles<ref>{{Lien web | langue = en | url = http://www.siam.org/proceedings/datamining/2004/dm04_028karguptah.pdf | site = siam.org | titre = {{Langue|en|VEDAS : A Mobile and Distributed Data Stream Mining System for Real-Time Vehicle Monitoring}} | auteur1= Hillol Kargupta | auteur2=Ruchita Bhargava | auteur3=Kun Liu | auteur4=Michael Powers | auteur5=[[Patrick Blair]] | auteur6=Samuel Bushra | auteur7=James Dull | auteur8=Kakali Sarkar | auteur9=Martin Klein | auteur10=Mitesh Vasa | auteur11=David Handy | année = 2004 | consulté le = 15 mai 2011| format électronique = pdf }}.</ref>. Mais des exemples d'applications peuvent être trouvés dans les domaines des télécommunications, de la gestion des réseaux, de la gestion des marchés financiers, de la surveillance, et dans les domaines d'activités de la vie de tous les jours, plus proches des personnes, comme l'analyse des flux de [[Guichet automatique bancaire|GAB]], des transactions par cartes de crédit{{etc.}}

=== Par domaines d'activités ===
[[Image:MeuseRiverZincConcentr01.png|vignette|Représentation graphique des bords de la rivière Neuse aux [[États-Unis]] où des concentrations anormales de [[zinc]] ont été observées.]]
La [[fouille de données spatiales]]<ref>{{Lien web | langue=en | url=http://www.spatial.cs.umn.edu/ | site=spatial.cs.umn.edu | titre = ''{{Langue|en|Spatial Database and Spatial Data Mining Research Group}}'' : Site officiel | année = 2011 | consulté le =15 mai 2011}}.</ref> (''{{Langue|en|Spatial data mining}}'') est la technique d'exploration de données géographiques à notre échelle sur Terre, mais aussi [[Astronomie|astronomiques]] ou [[microscopique]]s, dont le but est de trouver des motifs intéressants dans les données contenant à la fois du texte, des données temporelles ou des données géométriques, telles que des [[vecteur]]s, des trames ou des graphes. Les données spatiales donnent des informations à des échelles différentes, fournies par des techniques différentes, sous des formats différents, dans une période de temps souvent longue en vue de l'observation des changements. Les volumes sont donc très importants, les données peuvent être imparfaites, bruitées. De plus, les relations entre les données spatiales sont souvent implicites : les relations [[ensemble|ensemblistes]], [[topologie|topologiques]], [[Orientation (mathématiques)|directionnelles]] et [[Métrique (mathématiques)|métriques]] se rencontrent fréquemment dans cette spécialisation. La fouille de données spatiales est donc particulièrement ardue.

On utilise la fouille de données spatiales pour explorer les données des [[sciences de la terre]], les données cartographiques du crime, celles des [[recensement]]s, du [[trafic routier]], des foyers de [[cancer]]<ref>{{Lien web | langue= en | url= http://www.spatial.cs.umn.edu/paper_ps/giscience.pdf | site= spatial.cs.umn.edu | titre={{Langue|en|Spatial Data Mining: Accomplishments and Research Needs}} | auteur1 = Shashi Shekhar | auteur2=Pusheng Zhang | année = 2004 | consulté le = 15 mai 2011| format électronique= pdf }}.</ref>{{etc.}}

== Dans le futur ==
L’avenir de l'exploration de données dépend de celui des données numériques. Avec l’apparition du [[Web 2.0]], des [[blog]]s, des [[wiki]]s et des services en nuages<ref>{{Lien web | url = http://www.lemagit.fr/article/stockage-numerique-idc-nuage-donnees-cloud/6254/1/idc-pronostique-une-explosion-volume-donnees-produites-dans-monde-ici-ans/| site = lemagit.fr| titre =IDC pronostique une explosion du volume de données produites dans le monde d'ici 10 ans | consulté le = 21 mai 2011}}.</ref>, il y a une explosion du volume des données numériques et les gisements de matière première pour la fouille de données sont donc importants.

De nombreux domaines exploitent encore peu la fouille de données pour leurs besoins propres. L’analyse des données venant de la [[blogosphère]] n’en est qu’à son début. Comprendre l’« écologie de l’information<ref group=notes>Selon {{Lien web|en|url=http://aisl.umbc.edu/resources/376.pdf|site=aisl.umbc.edu|titre=The information ecology of social media and online communities|auteur1=Tim Finin|auteur2=Anupam Joshi|auteur3=Pranam Kolari|auteur4=Akshay Java|auteur5=Anubhav Kale|auteur6=Amit Karandikar|consulté le=19 juin 2011}}.</ref>{{,}}<ref name=Kargupta283 group=b>{{Harvsp|Kargupta|Han|Yu|Motwani|2009|p=283|id=NGDM}}</ref>» pour analyser le mode de fonctionnement des médias de l’Internet par exemple ne fait que commencer.

Pour peu que les problèmes liés à la vie privée des personnes<ref name=Kargupta357 group=b>{{Harvsp|Kargupta|Han|Yu|Motwani|2009|p=357|id=NGDM}}</ref>{{,}}<ref name=Kargupta420 group=b>{{Harvsp|Kargupta|Han|Yu|Motwani|2009|p=420|id=NGDM}}</ref> soient réglés, la fouille de données peut aider à traiter des questions dans le domaine médical<ref name=Kargupta471 group=b>{{Harvsp|Kargupta|Han|Yu|Motwani|2009|p=471|id=NGDM}}</ref>, et notamment dans la prévention des risques hospitaliers<ref name=Kargupta471 group=b/>.

Sans aller jusqu'à la science-fiction de [[Minority Report]], les techniques de profilage ''sans a priori'' sont rendues possibles par l'exploration de données<ref>{{lien web |langue=en |auteur1=Joseph A Bernstein |titre=Big Idea : Seeing Crime Before It Happens |url=http://discovermagazine.com/2011/dec/02-big-idea-seeing-crime-before-it-happens#.UZwAHrUqyGE |accès url=payant |site=discovermagazine.com |date=23-01-2012 |consulté le=23-09-2020}}.</ref>, pouvant poser quelques problèmes éthiques nouveaux<ref>{{lien web |langue=en |titre=FBI might use profiling in terror investigations |url=http://www.nbcnews.com/id/25501088/ns/us_news-security/t/fbi-might-use-profiling-terror-investigations/#.UZwFF7UqyGE |site=msnbc.com |date=02-07-2008 |consulté le=23-09-2020}}.</ref>. Un documentaire de ''BBC Horizon''<ref>[http://www.bbc.co.uk/programmes/b01rt4c7 The Age of Big Data]</ref> résume une partie de ces questions.

Enfin, avec l’apparition de nouvelles données et de nouveaux domaines, les techniques continuent de se développer<ref name=Kargupta1 group=b>{{Harvsp|Kargupta|Han|Yu|Motwani|2009|p=1-281|id=NGDM}}</ref>.

== Notes et références ==
{{Traduction/Référence|en|Data mining|3=429457682}}

=== Notes ===
{{Références|group=notes}}

==== Ouvrages spécialisés ====
{{Références|groupe=b}}

==== Autres références ====
{{Références}}

== Voir aussi ==
{{autres projets
 | wikiversity = Datamining
 | wikiversity titre = Datamining
}}

=== Articles connexes ===
==== Statistiques ====
* [[Analyse multivariée]]
* [[Analyse des données]]
* [[Big data]]
* [[Segmentation (marketing)]]
* [[Nielsen PRIZM]] (système de catégorisation des consommateurs)

==== Intelligence artificielle ====
* [[Apprentissage automatique]]
* [[Traitement automatique des langues|Traitement automatique du langage naturel]]
* [[Linguistique informatique|Linguistique calculatoire]]
* [[Carte auto adaptative]] (exemple de Réseau de neurones : carte de Kohonen (SOM/TOM))

==== Aide à la décision ====
* [[Informatique décisionnelle]]
* [[Aide à la décision]]
* [[Datawarehouse]], [[Datamart]], [[Lac de données]]

==== Applications ====
* [[Recherche d'information]]
* [[Fuite d'information]]
* [[Journalisme de données]]

=== Bibliographie ===
* {{Ouvrage|langue=en|prénom1=Robert|nom1=Nisbet|prénom2=John|nom2=Elder|prénom3=Gary|nom3=Miner|titre=Handbook of Statistical Analysis & Data Mining Applications|lieu=Amsterdam/Boston|éditeur=[[Academic Press]]|année=2009|pages totales=823|isbn=978-0-12-374765-5}}{{plume}}
* {{Next Generation of Data Mining}} {{plume}}
* {{Ouvrage|langue=fr|prénom1=Stéphane|nom1=Tufféry|titre=Data Mining et statistique décisionnelle|sous-titre=l'intelligence des données|lieu=Paris|éditeur=éditions Technip|année=2010|pages totales=705|isbn=978-2-7108-0946-3|lire en ligne=https://books.google.com/books?id=AyIYAAn4a2kC&printsec=frontcover|consulté le=14 mai 2011}}{{plume}}
* {{Ouvrage |langue=en |prénom1=Phiroz |nom1=Bhagat |titre=Pattern Recognition inndustry |lieu=Amsterdam/Boston/London |éditeur=[[Elsevier (éditeur)|Elsevier]] |année=2005 |pages totales=200 |isbn=978-0-08-044538-0}}
* {{en}} {{DudaHartStork}}
* {{Ouvrage |langue=en |prénom1=Yike |nom1=Guo |prénom2=Robert |nom2=Grossman |titre=High Performance Data Mining |sous-titre=Scaling Algorithms, Applications and Systems |lieu=Berlin |éditeur=Springer |année=200 |pages totales=112 |isbn=978-0-7923-7745-0 |lire en ligne=https://books.google.com/books?id=ms0EDZPYK3gC&printsec=frontcover}}
* {{article|langue=en|auteur1=Ingo Mierswa|auteur2=Michael Wurst|auteur3=Ralf Klinkenberg|auteur4=Martin Scholz|auteur5=Tim Euler|titre={{langue|en|YALE: Rapid Prototyping for Complex Data Mining Tasks}}|périodique=Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD-06)|éditeur=ACM|pages=935-940|isbn=1595933395|doi=10.1145/1150402.1150531|année=2006|présentation en ligne=http://www.mendeley.com/research/yale-rapid-prototyping-for-complex-data-mining-tasks/}}
* {{Ouvrage|prénom1=Daniel|nom1=Larose|traducteur=Thierry Vallaud|titre=Des données à la connaissance|sous-titre=Une introduction au data-mining (1Cédérom)|éditeur=[[Vuibert]]|année=2005|pages totales=223|isbn=978-2-7117-4855-6}}
* {{Ouvrage|prénom1=René|nom1=Lefébure|prénom2=Gilles|nom2=Venturi|titre=Data Mining : Gestion de la relation client|sous-titre=personnalisations de site web|éditeur=[[Eyrolles]]|année=2001|pages totales=392|isbn=978-2-212-09176-2}}
* {{Ouvrage|langue=en|prénom1=Pascal|nom1=Poncelet|prénom2=Florent|nom2=Masseglia|prénom3=Maguelonne|nom3=Teisseire|titre=Data Mining Patterns|sous-titre=New Methods and Applications|éditeur=Idea Group Reference|année=2007|pages totales=307|isbn=978-1-59904-162-9}}
* {{Ouvrage|langue=en|prénom1=Pang-Ning|nom1=Tan|prénom2=Michael|nom2=Steinbach|prénom3=Vipin|nom3=Kumar|titre=Introduction to Data Mining|éditeur=Pearson Addison Wesley|année=2007|pages totales=769|isbn=978-0-321-32136-7|isbn2=0-321-32136-7|oclc=58729322}}
* {{Ouvrage|langue=en|prénom1=Ian|nom1=Witten|prénom2=Eibe|nom2=Frank|titre=Data Mining : Practical Machine Learning Tools and Techniques|éditeur=Morgan Kaufmann|année=1999|pages totales=371|isbn=978-1-55860-552-7|lire en ligne=https://books.google.com/books?id=6lVEKlrTq8EC&printsec=frontcover}}
* {{Ouvrage|langue=en|prénom1=Stéphane|nom1=Tufféry|titre=Data Mining and Statistics for Decision Making|éditeur=[[John Wiley & Sons]]|année=2011|pages totales=716|isbn=978-0-470-68829-8}}
* {{Ouvrage|langue=en|prénom1=B.|nom1=Efron|titre=The Annals of Statistics|sous-titre=''{{langue|en|Bootstrap methods: Another look at the jackknife}}''|éditeur=Institute of Mathematical Statistics|année=1973|isbn=|issn=0090-5364}}
* {{Ouvrage|langue=en|prénom1=Leo|nom1=Breiman|titre=Machine Learning|sous-titre=''{{langue|en|Bagging predictors}}''|éditeur=Kluwer Academic Publishers Hingham|année=1996|isbn=|issn=0885-6125}}

{{Palette|Exploration de données|Datascience|Apprentissage automatique|Informatique théorique}}
{{Portail|bases de données|probabilités et statistiques|Données}}
{{Bon article|vote=BA|oldid=66339764|date=13 juin 2011}}

[[Catégorie:Exploration de données| ]]
[[Catégorie:Ingénierie décisionnelle]]
[[Catégorie:Science des données]]