Classement statistique - Statistical classification

En statistique , la classification est le problème d'identifier à laquelle d'un ensemble de catégories (sous-populations) une observation (ou des observations) appartient. Des exemples sont l'attribution d'un email donné à la classe "spam" ou "non-spam" , et l'attribution d'un diagnostic à un patient donné en fonction des caractéristiques observées du patient (sexe, tension artérielle, présence ou absence de certains symptômes, etc.) .

Souvent, les observations individuelles sont analysées en un ensemble de propriétés quantifiables, connues sous le nom de variables ou caractéristiques explicatives . Ces propriétés peuvent être catégoriques (par exemple "A", "B", "AB" ou "O", pour le groupe sanguin ), ordinales (par exemple "grand", "moyen" ou "petit"), à valeur entière (par exemple le nombre d'occurrences d'un mot particulier dans un e-mail ) ou à valeur réelle (par exemple une mesure de la pression artérielle ). D'autres classificateurs fonctionnent en comparant les observations aux observations précédentes au moyen d'une fonction de similarité ou de distance .

Un algorithme qui implémente la classification, en particulier dans une implémentation concrète, est appelé classifieur . Le terme « classificateur » fait parfois également référence à la fonction mathématique , mise en œuvre par un algorithme de classification, qui mappe les données d'entrée à une catégorie.

La terminologie à travers les domaines est assez variée. En statistique , où la classification est souvent effectuée avec une régression logistique ou une procédure similaire, les propriétés des observations sont appelées variables explicatives (ou variables indépendantes , régresseurs, etc.), et les catégories à prédire sont appelées résultats, qui sont considérés comme être des valeurs possibles de la variable dépendante . En apprentissage automatique , les observations sont souvent appelées instances , les variables explicatives sont appelées caractéristiques (regroupées dans un vecteur de caractéristiques ) et les catégories possibles à prédire sont les classes . D'autres domaines peuvent utiliser une terminologie différente : par exemple, en écologie communautaire , le terme « classification » fait normalement référence à l' analyse par grappes .

Relation avec d'autres problèmes

La classification et le regroupement sont des exemples du problème plus général de la reconnaissance de formes , qui est l'affectation d'une sorte de valeur de sortie à une valeur d'entrée donnée. D'autres exemples sont la régression , qui attribue une sortie à valeur réelle à chaque entrée ; étiquetage de séquence , qui attribue une classe à chaque membre d'une séquence de valeurs (par exemple, l' étiquetage d' une partie du discours , qui attribue une partie du discours à chaque mot dans une phrase d'entrée) ; parsing , qui attribue un arbre d'analyse à une phrase d'entrée, décrivant la structure syntaxique de la phrase ; etc.

Une sous-classe courante de classification est la classification probabiliste . Les algorithmes de cette nature utilisent l'inférence statistique pour trouver la meilleure classe pour une instance donnée. Contrairement à d'autres algorithmes, qui génèrent simplement une "meilleure" classe, les algorithmes probabilistes génèrent une probabilité que l'instance soit membre de chacune des classes possibles. La meilleure classe est alors normalement sélectionnée comme celle avec la probabilité la plus élevée. Cependant, un tel algorithme présente de nombreux avantages par rapport aux classificateurs non probabilistes :

  • Il peut générer une valeur de confiance associée à son choix (en général, un classificateur capable de le faire est appelé classificateur pondéré par la confiance ).
  • En conséquence, il peut s'abstenir lorsque sa confiance dans le choix d'une sortie particulière est trop faible.
  • En raison des probabilités générées, les classificateurs probabilistes peuvent être intégrés plus efficacement dans des tâches d'apprentissage automatique plus importantes, d'une manière qui évite partiellement ou complètement le problème de propagation d'erreurs .

Procédures fréquentistes

Les premiers travaux sur la classification statistique ont été entrepris par Fisher , dans le contexte de problèmes à deux groupes, conduisant à la fonction discriminante linéaire de Fisher comme règle pour affecter un groupe à une nouvelle observation. Ces premiers travaux supposaient que les valeurs des données au sein de chacun des deux groupes avaient une distribution normale multivariée . L'extension de ce même contexte à plus de deux groupes a également été envisagée avec une restriction imposée selon laquelle la règle de classification doit être linéaire . Des travaux ultérieurs sur la distribution normale multivariée ont permis au classificateur d'être non linéaire : plusieurs règles de classification peuvent être dérivées sur la base de différents ajustements de la distance de Mahalanobis , une nouvelle observation étant attribuée au groupe dont le centre a la distance ajustée la plus faible de l'observation.

Procédures bayésiennes

Contrairement aux procédures fréquentistes, les procédures de classification bayésienne offrent un moyen naturel de prendre en compte toute information disponible sur les tailles relatives des différents groupes au sein de la population globale. Les procédures bayésiennes ont tendance à être coûteuses en calculs et, à l'époque où les calculs de Monte Carlo par chaîne de Markov ont été développés, des approximations pour les règles de clustering bayésiennes ont été conçues.

Certaines procédures bayésiennes impliquent le calcul de probabilités d'appartenance à un groupe : celles-ci fournissent un résultat plus informatif qu'une simple attribution d'un seul groupe-étiquette à chaque nouvelle observation.

Classification binaire et multiclasse

La classification peut être considérée comme deux problèmes distincts : la classification binaire et la classification multiclasse . Dans la classification binaire, une tâche mieux comprise, seules deux classes sont impliquées, alors que la classification multiclasse implique d'affecter un objet à l'une de plusieurs classes. Étant donné que de nombreuses méthodes de classification ont été développées spécifiquement pour la classification binaire, la classification multiclasse nécessite souvent l'utilisation combinée de plusieurs classificateurs binaires.

Vecteurs de caractéristiques

La plupart des algorithmes décrivent une instance individuelle dont la catégorie doit être prédite à l'aide d'un vecteur de caractéristiques de propriétés individuelles mesurables de l'instance. Chaque propriété est appelée caractéristique , également connue en statistique sous le nom de variable explicative (ou variable indépendante , bien que les caractéristiques puissent ou non être statistiquement indépendantes ). Les fonctionnalités peuvent être binaires (par exemple « on » ou « désactivé »); catégorique (par exemple « A », « B », « AB » ou « O », pour le groupe sanguin ); ordinal (par exemple "grand", "moyen" ou "petit"); valeur entière (par exemple le nombre d'occurrences d'un mot particulier dans un e-mail) ; ou en valeur réelle (par exemple une mesure de la pression artérielle). Si l'instance est une image, les valeurs des caractéristiques peuvent correspondre aux pixels d'une image ; si l'instance est un morceau de texte, les valeurs de caractéristique peuvent être des fréquences d'occurrence de mots différents. Certains algorithmes ne fonctionnent qu'en termes de données discrètes et nécessitent que les données à valeur réelle ou à valeur entière soient discrétisées en groupes (par exemple moins de 5, entre 5 et 10, ou supérieur à 10).

Classificateurs linéaires

Un grand nombre d' algorithmes de classification peuvent être formulés en termes de fonction linéaire qui attribue un score à chaque catégorie possible k en combinant le vecteur de caractéristiques d'une instance avec un vecteur de poids, en utilisant un produit scalaire . La catégorie prédite est celle avec le score le plus élevé. Ce type de fonction de score est connu sous le nom de fonction prédictive linéaire et a la forme générale suivante :

X i est le vecteur de caractéristiques pour l'instance i , β k est le vecteur de poids correspondant à la catégorie k , et score( X i , k ) est le score associé à l'attribution de l'instance i à la catégorie k . Dans la théorie des choix discrets , où les instances représentent les personnes et les catégories représentent les choix, le score est considéré comme l' utilité associée à la personne i choisissant la catégorie k .

Les algorithmes avec cette configuration de base sont appelés classificateurs linéaires . Ce qui les distingue, c'est la procédure de détermination (apprentissage) des poids/coefficients optimaux et la manière dont le score est interprété.

Des exemples de tels algorithmes sont

Algorithmes

Étant donné qu'aucune forme unique de classification n'est appropriée pour tous les ensembles de données, une vaste boîte à outils d'algorithmes de classification a été développée. Les plus couramment utilisés incluent :

Évaluation

Les performances du classificateur dépendent fortement des caractéristiques des données à classer. Il n'y a pas de classificateur unique qui fonctionne le mieux sur tous les problèmes donnés (un phénomène qui peut s'expliquer par le théorème sans repas gratuit ). Divers tests empiriques ont été effectués pour comparer les performances des classificateurs et pour trouver les caractéristiques des données qui déterminent les performances des classificateurs. Déterminer un classificateur approprié pour un problème donné est cependant encore plus un art qu'une science.

Les mesures de précision et de rappel sont des mesures populaires utilisées pour évaluer la qualité d'un système de classification. Plus récemment, les courbes de caractéristiques de fonctionnement du récepteur (ROC) ont été utilisées pour évaluer le compromis entre les taux de vrais et de faux positifs des algorithmes de classification.

En tant que mesure de performance, le coefficient d'incertitude a l'avantage par rapport à la précision simple en ce qu'il n'est pas affecté par les tailles relatives des différentes classes. De plus, cela ne pénalisera pas un algorithme pour simplement réorganiser les classes.

Domaines d'application

La classification a de nombreuses applications. Dans certains d'entre eux, il est utilisé comme procédure d' exploration de données , tandis que dans d'autres, une modélisation statistique plus détaillée est entreprise.

Voir également

Les références