Exploration de données - Data mining
Fait partie d'une série sur |
Apprentissage automatique et exploration de données |
---|
L'exploration de données est un processus d'extraction et de découverte de modèles dans de grands ensembles de données impliquant des méthodes à l'intersection de l'apprentissage automatique , des statistiques et des systèmes de bases de données . L'exploration de données est un sous-domaine interdisciplinaire de l' informatique et des statistiques dont l'objectif global est d'extraire des informations (avec des méthodes intelligentes) à partir d'un ensemble de données et de transformer les informations en une structure compréhensible pour une utilisation ultérieure. L'exploration de données est l'étape d'analyse du processus de « découverte des connaissances dans les bases de données », ou KDD. Outre l'étape d'analyse brute, cela implique également des aspects de gestion de base de données et de données , le pré-traitement des données , les considérations de modèle et d' inférence , les métriques d'intérêt, les considérations de complexité , le post-traitement des structures découvertes, la visualisation et la mise à jour en ligne .
Le terme « exploration de données » est un terme impropre , car l'objectif est l'extraction de modèles et de connaissances à partir de grandes quantités de données, et non l' extraction ( extraction ) des données elles-mêmes . C'est également un mot à la mode et est fréquemment appliqué à toute forme de traitement de données ou d' informations à grande échelle ( collecte , extraction , entreposage , analyse et statistiques) ainsi qu'à toute application de système informatique d'aide à la décision , y compris l' intelligence artificielle (par exemple, machine apprentissage) et l'intelligence d'affaires . Le livre Data mining: Practical Machine Learning Tools and Technical with Java (qui couvre principalement le matériel d'apprentissage automatique) devait à l'origine s'appeler simplement Practical machine learning , et le terme data mining n'a été ajouté que pour des raisons de marketing. Souvent , les termes plus généraux ( à grande échelle ) l' analyse des données et des analyses -ou, en se référant aux méthodes actuelles, l' intelligence artificielle de et l' apprentissage automatique -sont plus approprié.
La tâche d'exploration de données réelle est l' analyse semi- automatique ou automatique de grandes quantités de données pour extraire des modèles intéressants auparavant inconnus tels que des groupes d'enregistrements de données ( analyse de cluster ), des enregistrements inhabituels ( détection d'anomalies ) et des dépendances ( exploration de règles d'association , extraction de modèle séquentiel ). Cela implique généralement l'utilisation de techniques de base de données telles que les indices spatiaux . Ces modèles peuvent ensuite être considérés comme une sorte de résumé des données d'entrée et peuvent être utilisés dans une analyse plus approfondie ou, par exemple, dans l'apprentissage automatique et l'analyse prédictive . Par exemple, l'étape d'exploration de données peut identifier plusieurs groupes dans les données, qui peuvent ensuite être utilisés pour obtenir des résultats de prédiction plus précis par un système d'aide à la décision . Ni la collecte de données, ni la préparation des données, ni l'interprétation et la communication des résultats ne font partie de l'étape d'exploration de données, mais appartiennent au processus global de KDD en tant qu'étapes supplémentaires.
La différence entre l'analyse de données et l'exploration de données est que l'analyse de données est utilisée pour tester des modèles et des hypothèses sur l'ensemble de données, par exemple, analyser l'efficacité d'une campagne marketing, quelle que soit la quantité de données ; en revanche, l'exploration de données utilise l'apprentissage automatique et des modèles statistiques pour découvrir des modèles clandestins ou cachés dans un grand volume de données.
Les termes connexes de dragage de données , de pêche de données et d' espionnage de données font référence à l'utilisation de méthodes d'exploration de données pour échantillonner des parties d'un ensemble de données de population plus vaste qui sont (ou peuvent être) trop petites pour que des inférences statistiques fiables puissent être faites sur la validité de tout modèles découverts. Ces méthodes peuvent cependant être utilisées pour créer de nouvelles hypothèses à tester par rapport à des populations de données plus importantes.
Étymologie
Dans les années 1960, les statisticiens et les économistes utilisaient des termes comme la pêche de données ou le dragage de données pour désigner ce qu'ils considéraient comme la mauvaise pratique consistant à analyser des données sans hypothèse a priori. Le terme « data mining » a été utilisé de manière tout aussi critique par l'économiste Michael Lovell dans un article publié dans la Review of Economic Studies en 1983. Lovell indique que la pratique « masque sous divers alias, allant de « l'expérimentation » (positif ) à « pêcher » ou « espionner » (négatif).
Le terme data mining est apparu vers 1990 dans la communauté des bases de données, généralement avec des connotations positives. Pendant une courte période dans les années 1980, une expression "database mining"™ a été utilisée, mais depuis qu'elle a été déposée par HNC, une société basée à San Diego, pour présenter leur Database Mining Workstation ; les chercheurs se sont donc tournés vers l'exploration de données . D' autres termes utilisés comprennent l' archéologie de données , la récolte de l' information , la découverte de l' information , l' extraction de connaissances , etc. Gregory Piatetsky-Shapiro a inventé le terme « découverte de connaissances dans les bases de données » pour le premier atelier sur le même sujet (KDD-1989) et ce terme est devenu plus populaire dans la communauté de l' IA et de l'apprentissage automatique . Cependant, le terme d'exploration de données est devenu plus populaire dans les communautés des affaires et de la presse. Actuellement, les termes exploration de données et découverte de connaissances sont utilisés de manière interchangeable.
Dans la communauté universitaire, les principaux forums de recherche ont commencé en 1995 lorsque la première conférence internationale sur l'exploration de données et la découverte des connaissances ( KDD-95 ) a été lancée à Montréal sous le parrainage de l' AAAI . Il était coprésidé par Usama Fayyad et Ramasamy Uthurusamy. Un an plus tard, en 1996, Usama Fayyad a lancé le journal de Kluwer intitulé Data Mining and Knowledge Discovery en tant que rédacteur en chef fondateur. Plus tard , il a commencé la SIGKDD Bulletin SIGKDD Explorations. La conférence KDD International est devenue la principale conférence de la plus haute qualité en matière d'exploration de données avec un taux d'acceptation des soumissions de documents de recherche inférieur à 18%. La revue Data Mining and Knowledge Discovery est la principale revue de recherche du domaine.
Fond
L'extraction manuelle de modèles à partir de données existe depuis des siècles. Les premières méthodes d'identification des modèles dans les données comprennent le théorème de Bayes (années 1700) et l'analyse de régression (années 1800). La prolifération, l'ubiquité et la puissance croissante de la technologie informatique ont considérablement augmenté la capacité de collecte, de stockage et de manipulation des données. Au fur et à mesure que les ensembles de données ont augmenté en taille et en complexité, l'analyse directe des données « pratique » a de plus en plus été complétée par un traitement de données indirect et automatisé, aidé par d'autres découvertes en informatique, en particulier dans le domaine de l'apprentissage automatique, tels que les réseaux de neurones , analyse par grappes , algorithmes génétiques (années 1950), arbres de décision et règles de décision (années 1960) et machines à vecteurs de support (années 1990). L'exploration de données est le processus d'application de ces méthodes dans le but de découvrir des modèles cachés. dans de grands ensembles de données. Il comble le fossé entre les statistiques appliquées et l'intelligence artificielle (qui fournissent généralement l'arrière-plan mathématique) à la gestion des bases de données en exploitant la façon dont les données sont stockées et indexées dans les bases de données pour exécuter plus efficacement les algorithmes d'apprentissage et de découverte, permettant à ces méthodes d'être appliquées à des ensembles de données toujours plus vastes.
Traiter
Le processus de découverte de connaissances dans les bases de données (KDD) est communément défini avec les étapes :
- Sélection
- Pré-traitement
- Transformation
- Exploration de données
- Interprétation/évaluation.
Il existe cependant dans de nombreuses déclinaisons sur ce thème, comme le processus standard intersectoriel pour l'exploration de données (CRISP-DM) qui définit six phases :
- Compréhension commerciale
- Compréhension des données
- Préparation des données
- La modélisation
- Évaluation
- Déploiement
ou un processus simplifié tel que (1) le pré-traitement, (2) l'exploration de données et (3) la validation des résultats.
Les sondages menés en 2002, 2004, 2007 et 2014 montrent que la méthodologie CRISP-DM est la principale méthodologie utilisée par les mineurs de données. La seule autre norme d'exploration de données nommée dans ces sondages était SEMMA . Cependant, 3 à 4 fois plus de personnes ont déclaré utiliser CRISP-DM. Plusieurs équipes de chercheurs ont publié des revues de modèles de processus d'exploration de données, et Azevedo et Santos ont effectué une comparaison de CRISP-DM et SEMMA en 2008.
Pré-traitement
Avant que les algorithmes d'exploration de données puissent être utilisés, un ensemble de données cible doit être assemblé. Comme l'exploration de données ne peut découvrir que des modèles réellement présents dans les données, l'ensemble de données cible doit être suffisamment grand pour contenir ces modèles tout en restant suffisamment concis pour être extrait dans un délai acceptable. Une source commune de données est un dépôt de données ou de l' entrepôt de données . Le pré-traitement est essentiel pour analyser les ensembles de données multivariées avant l'exploration de données. L'ensemble cible est ensuite nettoyé. Le nettoyage des données supprime les observations contenant du bruit et celles avec des données manquantes .
Exploration de données
L'exploration de données implique six catégories de tâches courantes :
- Détection d'anomalies ( détection de valeurs aberrantes/de changement/d'écart) – L'identification d'enregistrements de données inhabituels, qui pourraient être intéressants ou d'erreurs de données qui nécessitent une enquête plus approfondie.
- Apprentissage des règles d'association (modélisation des dépendances) – Recherche des relations entre les variables. Par exemple, un supermarché peut collecter des données sur les habitudes d'achat des clients. En utilisant l'apprentissage des règles d'association, le supermarché peut déterminer quels produits sont fréquemment achetés ensemble et utiliser ces informations à des fins de marketing. C'est ce qu'on appelle parfois l'analyse du panier de consommation.
- Clustering - est la tâche de découvrir des groupes et des structures dans les données qui sont d'une manière ou d'une autre "similaires", sans utiliser de structures connues dans les données.
- Classification - est la tâche de généraliser la structure connue à appliquer à de nouvelles données. Par exemple, un programme de messagerie peut tenter de classer un e-mail comme « légitime » ou comme « spam ».
- Régression - tente de trouver une fonction qui modélise les données avec le moins d'erreurs, c'est-à-dire pour estimer les relations entre les données ou les ensembles de données.
- Résumé – fournissant une représentation plus compacte de l'ensemble de données, y compris la visualisation et la génération de rapports.
Validation des résultats
L'exploration de données peut être involontairement mal utilisée, et peut alors produire des résultats qui semblent être significatifs ; mais qui ne prédisent pas réellement le comportement futur et ne peuvent pas être reproduits sur un nouvel échantillon de données et ont peu d'utilité. Cela résulte souvent de l'investigation d'un trop grand nombre d'hypothèses et de l'absence de tests d'hypothèses statistiques appropriés . Une version simple de ce problème dans l'apprentissage automatique est connue sous le nom de surapprentissage , mais le même problème peut survenir à différentes phases du processus et donc un fractionnement train/test, le cas échéant, peut ne pas être suffisant pour empêcher que cela ne se produise.
La dernière étape de la découverte des connaissances à partir des données consiste à vérifier que les modèles produits par les algorithmes d'exploration de données se produisent dans l'ensemble de données plus large. Tous les modèles trouvés par les algorithmes d'exploration de données ne sont pas nécessairement valides. Il est courant que les algorithmes d'exploration de données trouvent des modèles dans l'ensemble d'apprentissage qui ne sont pas présents dans l'ensemble de données général. C'est ce qu'on appelle le surapprentissage . Pour surmonter cela, l'évaluation utilise un ensemble de données de test sur lequel l'algorithme d'exploration de données n'a pas été formé. Les modèles appris sont appliqués à cet ensemble de test et la sortie résultante est comparée à la sortie souhaitée. Par exemple, un algorithme d'exploration de données essayant de distinguer le « spam » des e-mails « légitimes » serait entraîné sur un ensemble d'entraînement d'échantillons d'e-mails. Une fois entraînés, les modèles appris seraient appliqués à l'ensemble d'e-mails de test sur lesquels ils n'avaient pas été entraînés. L'exactitude des modèles peut ensuite être mesurée à partir du nombre d'e-mails qu'ils classent correctement. Plusieurs méthodes statistiques peuvent être utilisées pour évaluer l'algorithme, telles que les courbes ROC .
Si les modèles appris ne répondent pas aux normes souhaitées, il est par la suite nécessaire de réévaluer et de modifier les étapes de pré-traitement et d'exploration de données. Si les modèles appris répondent aux normes souhaitées, la dernière étape consiste à interpréter les modèles appris et à les transformer en connaissances.
Recherche
Le principal organisme professionnel dans le domaine est le groupe d'intérêt spécial (SIG) de l' Association for Computing Machinery (ACM) sur la découverte des connaissances et l'exploration de données ( SIGKDD ). Depuis 1989, cet ACM SIG a accueilli une conférence internationale annuelle et publié ses actes, et depuis 1999 il a publié une revue académique semestrielle intitulée "SIGKDD Explorations".
Les conférences informatiques sur l'exploration de données comprennent :
- Conférence CIKM – Conférence ACM sur la gestion de l'information et des connaissances
- Conférence européenne sur l'apprentissage automatique et les principes et pratiques de la découverte des connaissances dans les bases de données
- Conférence KDD – Conférence ACM SIGKDD sur la découverte des connaissances et l'exploration de données
Les sujets d'exploration de données sont également présents dans de nombreuses conférences sur la gestion des données/bases de données telles que la conférence ICDE, la conférence SIGMOD et la conférence internationale sur les très grandes bases de données.
Normes
Des efforts ont été déployés pour définir des normes pour le processus d'exploration de données, par exemple, le processus standard européen intersectoriel d'exploration de données de 1999 (CRISP-DM 1.0) et la norme d' exploration de données Java de 2004 (JDM 1.0). Le développement des successeurs de ces processus (CRISP-DM 2.0 et JDM 2.0) a été actif en 2006 mais est au point mort depuis. JDM 2.0 a été retiré sans parvenir à un projet final.
Pour échanger les modèles extraits, en particulier pour une utilisation dans l'analyse prédictive , la norme clé est le Predictive Model Markup Language (PMML), qui est un langage basé sur XML développé par le Data Mining Group (DMG) et pris en charge comme format d'échange par de nombreux applications d'exploration de données. Comme son nom l'indique, il ne couvre que les modèles de prédiction, une tâche particulière d'exploration de données de grande importance pour les applications métier. Cependant, des extensions pour couvrir (par exemple) le clustering de sous-espaces ont été proposées indépendamment du DMG.
Utilisations notables
L'exploration de données est utilisée partout où des données numériques sont disponibles aujourd'hui. Des exemples notables d'exploration de données peuvent être trouvés dans les affaires, la médecine, la science et la surveillance.
Problèmes de confidentialité et éthique
Bien que le terme « exploration de données » en lui-même n'ait aucune implication éthique, il est souvent associé à l'exploration d'informations en relation avec le comportement des personnes (éthiques et autres).
Les façons dont l'exploration de données peut être utilisée peuvent, dans certains cas et dans certains contextes, soulever des questions concernant la confidentialité , la légalité et l'éthique. En particulier, l'exploration de données d'ensembles de données gouvernementales ou commerciales à des fins de sécurité nationale ou d'application de la loi, comme dans le programme Total Information Awareness ou dans ADVISE , a soulevé des problèmes de confidentialité.
L'exploration de données nécessite une préparation des données qui découvre des informations ou des modèles qui compromettent les obligations de confidentialité et de confidentialité. L' agrégation de données est une méthode courante pour que cela se produise . L'agrégation des données consiste à combiner des données (éventuellement provenant de diverses sources) d'une manière qui facilite l'analyse (mais qui pourrait également rendre l'identification de données privées au niveau individuel déductible ou autrement apparente). Il ne s'agit pas d'exploration de données en soi , mais du résultat de la préparation des données avant et aux fins de l'analyse. La menace pour la vie privée d'un individu entre en jeu lorsque les données, une fois compilées, permettent au mineur de données, ou à toute personne ayant accès à l'ensemble de données nouvellement compilé, d'identifier des individus spécifiques, en particulier lorsque les données étaient à l'origine anonymes.
Il est recommandé de prendre connaissance des éléments suivants avant la collecte des données :
- Le but de la collecte de données et de tout projet d'exploration de données (connu) ;
- Comment les données seront utilisées ;
- Qui pourra extraire les données et utiliser les données et leurs dérivés ;
- L'état de la sécurité entourant l'accès aux données ;
- Comment les données collectées peuvent être mises à jour.
Les données peuvent également être modifiées de manière à devenir anonymes, de sorte que les individus ne peuvent pas être facilement identifiés. Cependant, même des ensembles de données « anonymisés » peuvent potentiellement contenir suffisamment d'informations pour permettre l'identification d'individus, comme cela s'est produit lorsque les journalistes ont pu trouver plusieurs individus sur la base d'un ensemble d'historiques de recherche publiés par inadvertance par AOL.
La révélation par inadvertance d' informations personnellement identifiables menant au fournisseur viole les pratiques d'information équitables. Cette indiscrétion peut causer des dommages financiers, émotionnels ou corporels à la personne indiquée. Dans un cas de violation de la vie privée , les patrons de Walgreens ont intenté une action en justice contre la société en 2011 pour avoir vendu des informations sur les ordonnances à des sociétés d'exploration de données qui ont à leur tour fourni les données aux sociétés pharmaceutiques.
Situation en Europe
L'Europe dispose de lois sur la protection de la vie privée assez strictes et des efforts sont en cours pour renforcer davantage les droits des consommateurs. Cependant, les principes de la sphère de sécurité États-Unis-UE , élaborés entre 1998 et 2000, exposent actuellement les utilisateurs européens à l'exploitation de la vie privée par des entreprises américaines. En conséquence de Edward Snowden de la divulgation de la surveillance mondiale , on a augmenté la discussion de révoquer cet accord, en particulier les données seront pleinement exposées à l' Agence nationale de sécurité , et les tentatives de parvenir à un accord avec les États-Unis ont échoué.
Au Royaume-Uni en particulier, il y a eu des cas d'entreprises utilisant l'exploration de données comme moyen de cibler certains groupes de clients, les forçant à payer des prix injustement élevés. Ces groupes ont tendance à être des personnes de statut socio-économique inférieur qui ne sont pas avertis des façons dont ils peuvent être exploités sur les marchés numériques.
Situation aux États-Unis
Aux États-Unis, les problèmes de confidentialité ont été traités par le Congrès américain via l'adoption de contrôles réglementaires tels que la Health Insurance Portability and Accountability Act (HIPAA). La HIPAA exige que les individus donnent leur « consentement éclairé » concernant les informations qu'ils fournissent et leurs utilisations présentes et futures prévues. Selon un article paru dans Biotech Business Week , "'[i]n pratique, HIPAA peut ne pas offrir une protection plus grande que les réglementations de longue date dans le domaine de la recherche", déclare l'AAHC. Plus important encore, l'objectif de la règle de protection par le consentement éclairé est approcher un niveau d'incompréhensibilité pour les individus moyens. Cela souligne la nécessité de l'anonymat des données dans les pratiques d'agrégation et d'exploration de données.
La législation américaine sur la confidentialité des informations, telle que HIPAA et la loi FERPA ( Family Educational Rights and Privacy Act ) s'applique uniquement aux domaines spécifiques visés par chacune de ces lois. L'utilisation de l'exploration de données par la majorité des entreprises aux États-Unis n'est contrôlée par aucune législation.
droit d'auteur
Situation en Europe
En vertu des lois européennes sur le droit d'auteur et les bases de données , l'extraction d'œuvres protégées par le droit d'auteur (par exemple par l'extraction Web ) sans l'autorisation du propriétaire du droit d'auteur n'est pas légale. Lorsqu'une base de données est constituée de données pures en Europe, il se peut qu'il n'y ait pas de droit d'auteur, mais des droits de base de données peuvent exister, de sorte que l'exploration de données devient soumise aux droits des propriétaires de propriété intellectuelle qui sont protégés par la directive sur les bases de données . Sur la recommandation de l' étude Hargreaves , cela a conduit le gouvernement britannique à modifier sa loi sur le droit d'auteur en 2014 pour autoriser l'extraction de contenu en tant que limitation et exception . Le Royaume-Uni a été le deuxième pays au monde à le faire après le Japon, qui a introduit une exception en 2009 pour l'exploration de données. Cependant, en raison de la restriction de la directive sur la société de l' information (2001), l'exception britannique n'autorise l'exploration de contenu qu'à des fins non commerciales. La loi britannique sur le droit d'auteur ne permet pas non plus que cette disposition soit annulée par des conditions contractuelles.
La Commission européenne a facilité la discussion des parties prenantes sur l'exploration de textes et de données en 2013, sous le titre de Licences pour l'Europe. L'accent mis sur la solution à ce problème juridique, comme les licences plutôt que les limitations et exceptions, a conduit des représentants d'universités, de chercheurs, de bibliothèques, de groupes de la société civile et d' éditeurs en libre accès à quitter le dialogue avec les parties prenantes en mai 2013.
Situation aux États-Unis
La loi américaine sur le droit d'auteur , et en particulier sa disposition sur l' utilisation équitable , confirme la légalité de l'extraction de contenu en Amérique et dans d'autres pays d'utilisation équitable tels qu'Israël, Taïwan et la Corée du Sud. Comme l'exploration de contenu est transformatrice, c'est-à-dire qu'elle ne supplante pas l'œuvre originale, elle est considérée comme licite dans le cadre d'une utilisation équitable. Par exemple, dans le cadre du règlement Google Book, le président de l'affaire a statué que le projet de numérisation de Google de livres protégés par le droit d'auteur était licite, en partie à cause des utilisations transformatrices affichées par le projet de numérisation, l'une étant l'exploration de texte et de données.
Logiciel
Logiciels et applications d'exploration de données open source gratuits
Les applications suivantes sont disponibles sous des licences libres/open source. L'accès public au code source de l'application est également disponible.
- Carrot2 : Framework de clustering de textes et de résultats de recherche.
- Chemicalize.org : Un mineur de structure chimique et un moteur de recherche Web.
- ELKI : Un projet de recherche universitaire avec des méthodes avancées d' analyse de cluster et de détection de valeurs aberrantes écrites en langage Java .
- GATE : un outil de traitement du langage naturel et d'ingénierie du langage.
- KNIME : The Konstanz Information Miner, un cadre d'analyse de données convivial et complet.
- Massive Online Analysis (MOA) : une exploration de flux de données massives en temps réel avec un outil de dérive de concept dans le langage de programmation Java .
- MEPX : outil multiplateforme pour les problèmes de régression et de classification basé sur une variante de programmation génétique.
- ML-Flex : un progiciel qui permet aux utilisateurs de s'intégrer à des progiciels d'apprentissage automatique tiers écrits dans n'importe quel langage de programmation, d'exécuter des analyses de classification en parallèle sur plusieurs nœuds de calcul et de produire des rapports HTML sur les résultats de la classification.
- mlpack : une collection d'algorithmes de machine learning prêts à l'emploi écrits en langage C++ .
- NLTK ( Natural Language Toolkit ): Une suite de bibliothèques et de programmes pour le traitement symbolique et statistique du langage naturel (NLP) pour le langage Python .
- OpenNN : Bibliothèque ouverte de réseaux de neurones .
- Orange : Suite logicielle d' exploration de données et de machine learning basée sur des composants écrite en langage Python .
- PSPP : Logiciel d'exploration de données et de statistiques dans le cadre du projet GNU similaire à SPSS
- R : Un langage de programmation et un environnement logiciel pour le calcul statistique , l'exploration de données et les graphiques. Il fait partie du projet GNU .
- Scikit-learn : une bibliothèque de machine learning open source pour le langage de programmation Python
- Torch : une bibliothèque d' apprentissage en profondeur open source pour le langage de programmation Lua et le cadre de calcul scientifique avec une large prise en charge des algorithmes d' apprentissage automatique .
- UIMA : L'UIMA (Unstructured Information Management Architecture) est un cadre de composants pour l'analyse de contenus non structurés tels que du texte, de l'audio et de la vidéo – développé à l'origine par IBM.
- Weka : Une suite d'applications logicielles d'apprentissage automatique écrites dans le langage de programmation Java .
Logiciels et applications d'exploration de données propriétaires
Les applications suivantes sont disponibles sous des licences propriétaires.
- Angoss KnowledgeSTUDIO : outil de data mining
- LIONsolver : une application logicielle intégrée pour l'exploration de données, la veille économique et la modélisation qui met en œuvre l'approche d'apprentissage et d'optimisation intelligente (LION).
- Megaputer Intelligence : le logiciel d'exploration de données et de texte s'appelle PolyAnalyst .
- Microsoft Analysis Services : logiciel d'exploration de données fourni par Microsoft .
- NetOwl : suite de produits d'analyse de texte et d'entité multilingues qui permettent l'exploration de données.
- Oracle Data Mining : logiciel d'exploration de données d' Oracle Corporation .
- PSeven : plateforme d'automatisation de simulation et d'analyse d'ingénierie, d'optimisation multidisciplinaire et de data mining fournie par DATADVANCE .
- Qlucore Omics Explorer : logiciel d'exploration de données.
- RapidMiner : Un environnement pour les expériences d'apprentissage automatique et d'exploration de données.
- SAS Enterprise Miner : logiciel d'exploration de données fourni par le SAS Institute .
- SPSS Modeler : logiciel d'exploration de données fourni par IBM .
- STATISTICA Data Miner : logiciel de data mining fourni par StatSoft .
- Tanagra : Logiciel de data mining orienté visualisation, également pour l'enseignement.
- Vertica : logiciel d'exploration de données fourni par Hewlett-Packard .
- Google Cloud Platform : modèles de ML personnalisés automatisés gérés par Google .
- Amazon SageMaker : service géré fourni par Amazon pour la création et la production de modèles de ML personnalisés.
Voir également
- Méthodes
- Mine d'agents
- Détection d'anomalie/valeur aberrante/changement
- Apprentissage des règles d'association
- Réseaux bayésiens
- Classification
- L'analyse par grappes
- Arbres de décision
- Apprentissage d'ensemble
- Analyse factorielle
- Algorithmes génétiques
- Minage intentionnel
- Système de classificateur d'apprentissage
- Apprentissage sous-espace multilinéaire
- Les réseaux de neurones
- Analyse de régression
- Minage de séquences
- Analyse de données structurées
- Soutenir les machines vectorielles
- Extraction de texte
- Analyse des séries chronologiques
- Domaines d'application
- Analytique
- Informatique du comportement
- Big Data
- Bioinformatique
- L'intelligence d'entreprise
- L'analyse des données
- Entrepôt de données
- Système d'aide à la décision
- Exploration de données pilotée par domaine
- Découverte de médicament
- L'analyse exploratoire des données
- Analyses prédictives
- Exploration du Web
- Exemples d'applications
- Rubriques connexes
Pour plus d'informations sur l'extraction d'informations à partir de données (par opposition à l' analyse de données), consultez :
- Autres ressources
Les références
Lectures complémentaires
- Cabena, Pierre ; Hadjnian, Pablo ; Stadler, Rolf; Verhees, Jaap ; Zanasi, Alessandro (1997) ; À la découverte de l'exploration de données : du concept à la mise en œuvre , Prentice Hall , ISBN 0-13-743980-6
- MS Chen, J. Han, PS Yu (1996) " L'exploration de données : un aperçu du point de vue d'une base de données ". Ingénierie des connaissances et des données, Transactions IEEE sur 8 (6), 866-883
- Feldman, Ronen ; Sanger, James (2007); The Text Mining Handbook , Cambridge University Press , ISBN 978-0-521-83657-9
- Guo, Yike ; et Grossman, Robert (éditeurs) (1999) ; Exploration de données haute performance : algorithmes, applications et systèmes de mise à l'échelle , Kluwer Academic Publishers
- Han, Jiawei , Micheline Kamber et Jian Pei. Exploration de données : concepts et techniques . Morgan Kaufmann, 2006.
- Hastie, Trevor , Tibshirani, Robert et Friedman, Jérôme (2001) ; Les éléments de l'apprentissage statistique : exploration de données, inférence et prédiction , Springer, ISBN 0-387-95284-5
- Liu, Bing (2007, 2011) ; Exploration de données Web : exploration des liens hypertexte, du contenu et des données d'utilisation , Springer , ISBN 3-540-37881-2
- Murphy, Chris (16 mai 2011). "L'exploration de données est-elle libre d'expression ?". InformationSemaine : 12.
- Nisbet, Robert ; Aîné, John; Mineur, Gary (2009) ; Manuel des applications d'analyse statistique et d'exploration de données , Academic Press /Elsevier, ISBN 978-0-12-374765-5
- Poncelet, Pascal ; Masseglia, Florent ; et Teisseire, Maguelonne (éditeurs) (octobre 2007) ; "Modèles d'exploration de données : nouvelles méthodes et applications", Référence des sciences de l'information , ISBN 978-1-59904-162-9
- Tan, Pang-Ning ; Steinbach, Michael; et Kumar, Vipin (2005) ; Introduction à l'exploration de données , ISBN 0-321-32136-7
- Théodoridis, Sergios ; et Koutroumbas, Konstantinos (2009) ; Reconnaissance de modèles , 4e édition, Academic Press, ISBN 978-1-59749-272-0
- Weiss, Sholom M.; et Indurkhya, Nitin (1998) ; Exploration de données prédictive , Morgan Kaufmann
- Witten, Ian H. ; Frank, Eibe; Hall, Mark A. (30 janvier 2011). Exploration de données : outils et techniques pratiques d'apprentissage automatique (3 éd.). Elsevier. ISBN 978-0-12-374856-0.(Voir aussi Logiciel gratuit Weka )
- Ye, Nong (2003) ; Le manuel de l'exploration de données , Mahwah, NJ : Lawrence Erlbaum