Classement statistique - Statistical classification
En statistique , la classification est le problème d'identifier à laquelle d'un ensemble de catégories (sous-populations) une observation (ou des observations) appartient. Des exemples sont l'attribution d'un email donné à la classe "spam" ou "non-spam" , et l'attribution d'un diagnostic à un patient donné en fonction des caractéristiques observées du patient (sexe, tension artérielle, présence ou absence de certains symptômes, etc.) .
Souvent, les observations individuelles sont analysées en un ensemble de propriétés quantifiables, connues sous le nom de variables ou caractéristiques explicatives . Ces propriétés peuvent être catégoriques (par exemple "A", "B", "AB" ou "O", pour le groupe sanguin ), ordinales (par exemple "grand", "moyen" ou "petit"), à valeur entière (par exemple le nombre d'occurrences d'un mot particulier dans un e-mail ) ou à valeur réelle (par exemple une mesure de la pression artérielle ). D'autres classificateurs fonctionnent en comparant les observations aux observations précédentes au moyen d'une fonction de similarité ou de distance .
Un algorithme qui implémente la classification, en particulier dans une implémentation concrète, est appelé classifieur . Le terme « classificateur » fait parfois également référence à la fonction mathématique , mise en œuvre par un algorithme de classification, qui mappe les données d'entrée à une catégorie.
La terminologie à travers les domaines est assez variée. En statistique , où la classification est souvent effectuée avec une régression logistique ou une procédure similaire, les propriétés des observations sont appelées variables explicatives (ou variables indépendantes , régresseurs, etc.), et les catégories à prédire sont appelées résultats, qui sont considérés comme être des valeurs possibles de la variable dépendante . En apprentissage automatique , les observations sont souvent appelées instances , les variables explicatives sont appelées caractéristiques (regroupées dans un vecteur de caractéristiques ) et les catégories possibles à prédire sont les classes . D'autres domaines peuvent utiliser une terminologie différente : par exemple, en écologie communautaire , le terme « classification » fait normalement référence à l' analyse par grappes .
Relation avec d'autres problèmes
La classification et le regroupement sont des exemples du problème plus général de la reconnaissance de formes , qui est l'affectation d'une sorte de valeur de sortie à une valeur d'entrée donnée. D'autres exemples sont la régression , qui attribue une sortie à valeur réelle à chaque entrée ; étiquetage de séquence , qui attribue une classe à chaque membre d'une séquence de valeurs (par exemple, l' étiquetage d' une partie du discours , qui attribue une partie du discours à chaque mot dans une phrase d'entrée) ; parsing , qui attribue un arbre d'analyse à une phrase d'entrée, décrivant la structure syntaxique de la phrase ; etc.
Une sous-classe courante de classification est la classification probabiliste . Les algorithmes de cette nature utilisent l'inférence statistique pour trouver la meilleure classe pour une instance donnée. Contrairement à d'autres algorithmes, qui génèrent simplement une "meilleure" classe, les algorithmes probabilistes génèrent une probabilité que l'instance soit membre de chacune des classes possibles. La meilleure classe est alors normalement sélectionnée comme celle avec la probabilité la plus élevée. Cependant, un tel algorithme présente de nombreux avantages par rapport aux classificateurs non probabilistes :
- Il peut générer une valeur de confiance associée à son choix (en général, un classificateur capable de le faire est appelé classificateur pondéré par la confiance ).
- En conséquence, il peut s'abstenir lorsque sa confiance dans le choix d'une sortie particulière est trop faible.
- En raison des probabilités générées, les classificateurs probabilistes peuvent être intégrés plus efficacement dans des tâches d'apprentissage automatique plus importantes, d'une manière qui évite partiellement ou complètement le problème de propagation d'erreurs .
Procédures fréquentistes
Les premiers travaux sur la classification statistique ont été entrepris par Fisher , dans le contexte de problèmes à deux groupes, conduisant à la fonction discriminante linéaire de Fisher comme règle pour affecter un groupe à une nouvelle observation. Ces premiers travaux supposaient que les valeurs des données au sein de chacun des deux groupes avaient une distribution normale multivariée . L'extension de ce même contexte à plus de deux groupes a également été envisagée avec une restriction imposée selon laquelle la règle de classification doit être linéaire . Des travaux ultérieurs sur la distribution normale multivariée ont permis au classificateur d'être non linéaire : plusieurs règles de classification peuvent être dérivées sur la base de différents ajustements de la distance de Mahalanobis , une nouvelle observation étant attribuée au groupe dont le centre a la distance ajustée la plus faible de l'observation.
Procédures bayésiennes
Contrairement aux procédures fréquentistes, les procédures de classification bayésienne offrent un moyen naturel de prendre en compte toute information disponible sur les tailles relatives des différents groupes au sein de la population globale. Les procédures bayésiennes ont tendance à être coûteuses en calculs et, à l'époque où les calculs de Monte Carlo par chaîne de Markov ont été développés, des approximations pour les règles de clustering bayésiennes ont été conçues.
Certaines procédures bayésiennes impliquent le calcul de probabilités d'appartenance à un groupe : celles-ci fournissent un résultat plus informatif qu'une simple attribution d'un seul groupe-étiquette à chaque nouvelle observation.
Classification binaire et multiclasse
La classification peut être considérée comme deux problèmes distincts : la classification binaire et la classification multiclasse . Dans la classification binaire, une tâche mieux comprise, seules deux classes sont impliquées, alors que la classification multiclasse implique d'affecter un objet à l'une de plusieurs classes. Étant donné que de nombreuses méthodes de classification ont été développées spécifiquement pour la classification binaire, la classification multiclasse nécessite souvent l'utilisation combinée de plusieurs classificateurs binaires.
Vecteurs de caractéristiques
La plupart des algorithmes décrivent une instance individuelle dont la catégorie doit être prédite à l'aide d'un vecteur de caractéristiques de propriétés individuelles mesurables de l'instance. Chaque propriété est appelée caractéristique , également connue en statistique sous le nom de variable explicative (ou variable indépendante , bien que les caractéristiques puissent ou non être statistiquement indépendantes ). Les fonctionnalités peuvent être binaires (par exemple « on » ou « désactivé »); catégorique (par exemple « A », « B », « AB » ou « O », pour le groupe sanguin ); ordinal (par exemple "grand", "moyen" ou "petit"); valeur entière (par exemple le nombre d'occurrences d'un mot particulier dans un e-mail) ; ou en valeur réelle (par exemple une mesure de la pression artérielle). Si l'instance est une image, les valeurs des caractéristiques peuvent correspondre aux pixels d'une image ; si l'instance est un morceau de texte, les valeurs de caractéristique peuvent être des fréquences d'occurrence de mots différents. Certains algorithmes ne fonctionnent qu'en termes de données discrètes et nécessitent que les données à valeur réelle ou à valeur entière soient discrétisées en groupes (par exemple moins de 5, entre 5 et 10, ou supérieur à 10).
Classificateurs linéaires
Un grand nombre d' algorithmes de classification peuvent être formulés en termes de fonction linéaire qui attribue un score à chaque catégorie possible k en combinant le vecteur de caractéristiques d'une instance avec un vecteur de poids, en utilisant un produit scalaire . La catégorie prédite est celle avec le score le plus élevé. Ce type de fonction de score est connu sous le nom de fonction prédictive linéaire et a la forme générale suivante :
où X i est le vecteur de caractéristiques pour l'instance i , β k est le vecteur de poids correspondant à la catégorie k , et score( X i , k ) est le score associé à l'attribution de l'instance i à la catégorie k . Dans la théorie des choix discrets , où les instances représentent les personnes et les catégories représentent les choix, le score est considéré comme l' utilité associée à la personne i choisissant la catégorie k .
Les algorithmes avec cette configuration de base sont appelés classificateurs linéaires . Ce qui les distingue, c'est la procédure de détermination (apprentissage) des poids/coefficients optimaux et la manière dont le score est interprété.
Des exemples de tels algorithmes sont
- Régression logistique et Régression logistique multinomiale
- Régression probit
- L' algorithme du perceptron
- Soutenir les machines vectorielles
- Analyse discriminante linéaire .
Algorithmes
Étant donné qu'aucune forme unique de classification n'est appropriée pour tous les ensembles de données, une vaste boîte à outils d'algorithmes de classification a été développée. Les plus couramment utilisés incluent :
- Classificateurs linéaires
- Soutenir les machines vectorielles
- Classificateurs quadratiques
- Estimation du noyau
- Boosting (méta-algorithme)
- Arbres de décision
- Les réseaux de neurones
- Apprentissage de la quantification vectorielle
Évaluation
Les performances du classificateur dépendent fortement des caractéristiques des données à classer. Il n'y a pas de classificateur unique qui fonctionne le mieux sur tous les problèmes donnés (un phénomène qui peut s'expliquer par le théorème sans repas gratuit ). Divers tests empiriques ont été effectués pour comparer les performances des classificateurs et pour trouver les caractéristiques des données qui déterminent les performances des classificateurs. Déterminer un classificateur approprié pour un problème donné est cependant encore plus un art qu'une science.
Les mesures de précision et de rappel sont des mesures populaires utilisées pour évaluer la qualité d'un système de classification. Plus récemment, les courbes de caractéristiques de fonctionnement du récepteur (ROC) ont été utilisées pour évaluer le compromis entre les taux de vrais et de faux positifs des algorithmes de classification.
En tant que mesure de performance, le coefficient d'incertitude a l'avantage par rapport à la précision simple en ce qu'il n'est pas affecté par les tailles relatives des différentes classes. De plus, cela ne pénalisera pas un algorithme pour simplement réorganiser les classes.
Domaines d'application
La classification a de nombreuses applications. Dans certains d'entre eux, il est utilisé comme procédure d' exploration de données , tandis que dans d'autres, une modélisation statistique plus détaillée est entreprise.
-
Vision par ordinateur
- Imagerie médicale et analyse d'images médicales
- Reconnaissance optique de caractères
- Suivi vidéo
- Découverte et développement de médicaments
- Géostatistique
- Reconnaissance de la parole
- Reconnaissance de l'écriture manuscrite
- Identification biométrique
- Classification biologique
- Traitement statistique du langage naturel
- Classement des documents
- moteurs de recherche Internet
- Cotation de crédit
- La reconnaissance de formes
- Système de recommandation
- Classification des microréseaux
Voir également
- Intelligence artificielle
- Classement binaire
- Probabilités d'appartenance à une classe
- Règle de classement
- Traitement des termes composés
- Exploration de données
- Entrepôt de données
- Logique floue
- Récupération de l'information
- Liste des ensembles de données pour la recherche en apprentissage automatique
- Apprentissage automatique
- Système de recommandation