Matrice de confusion - Confusion matrix
Sources : Fawcett (2006), Piryonesi et El-Diraby (2020), Powers (2011), Ting (2011), CAWCR, D. Chicco & G. Jurman (2020, 2021) , Tharwat (2018). |
Dans le domaine de l'apprentissage automatique et plus précisément du problème de la classification statistique , une matrice de confusion , également appelée matrice d'erreur, est une disposition de tableau spécifique qui permet de visualiser les performances d'un algorithme, typiquement un apprentissage supervisé (en apprentissage non supervisé, il est généralement appelée matrice d'appariement ). Chaque ligne de la matrice représente les instances d'une classe réelle tandis que chaque colonne représente les instances d'une classe prédite, ou vice versa – les deux variantes se trouvent dans la littérature. Le nom vient du fait qu'il permet de voir facilement si le système confond deux classes (c'est-à-dire en étiquetant couramment l'une comme l'autre).
Il s'agit d'un type spécial de tableau de contingence , avec deux dimensions ("réelle" et "prédite"), et des ensembles identiques de "classes" dans les deux dimensions (chaque combinaison de dimension et de classe est une variable dans le tableau de contingence).
Exemple
Étant donné un échantillon de 12 images, 8 de chats et 4 de chiens, où les chats appartiennent à la classe 1 et les chiens appartiennent à la classe 0,
- réel = [1,1,1,1,1,1,1,1,0,0,0,0],
supposons qu'un classificateur qui fait la distinction entre les chats et les chiens est formé, et nous prenons les 12 photos et les passons dans le classificateur. Le classificateur fait 9 prédictions précises et manque 3 : 2 chats prédits à tort comme chiens (les 2 premières prédictions) et 1 chien prédit à tort comme chat (dernière prédiction).
- prédiction = [0,0,1,1,1,1,1,1,1,0,0,0,1]
Avec ces deux ensembles étiquetés (réel et prédictions), nous pouvons créer une matrice de confusion qui résumera les résultats du test du classifieur :
Classe prévue Classe réelle
|
Chat | Chien |
---|---|---|
Chat | 6 | 2 |
Chien | 1 | 3 |
Dans cette matrice de confusion, sur les 8 images de chats, le système a estimé que 2 étaient des chiens, et sur les 4 images de chiens, il a prédit que 1 était des chats. Toutes les prédictions correctes sont situées dans la diagonale du tableau (surlignées en gras), il est donc facile d'inspecter visuellement le tableau pour les erreurs de prédiction, car les valeurs en dehors de la diagonale les représenteront.
En termes de sensibilité et de spécificité , la matrice de confusion est la suivante :
Classe prévue Classe réelle
|
P | N |
---|---|---|
P | TP | FN |
N | PF | TN |
Tableau de confusion
Dans l'analyse prédictive , un tableau de confusion (parfois aussi appelé matrice de confusion ) est un tableau avec deux lignes et deux colonnes qui indique le nombre de faux positifs , de faux négatifs , de vrais positifs et de vrais négatifs . Cela permet une analyse plus détaillée qu'une simple proportion de classifications correctes (précision). La précision produira des résultats trompeurs si l'ensemble de données est déséquilibré ; que, lorsque le nombre d'observations dans différentes classes varient considérablement. Par exemple, s'il y avait 95 chats et seulement 5 chiens dans les données, un classificateur particulier pourrait classer toutes les observations comme des chats. La précision globale serait de 95 %, mais plus en détail, le classificateur aurait un taux de reconnaissance de 100 % ( sensibilité ) pour la classe des chats mais un taux de reconnaissance de 0 % pour la classe des chiens. Le score F1 est encore plus peu fiable dans de tels cas, et donnerait ici plus de 97,4%, alors que l' information supprime un tel biais et donne 0 comme probabilité d'une décision éclairée pour toute forme de devinette (ici toujours deviner le chat). La matrice de confusion n'est pas limitée à la classification binaire et peut également être utilisée dans les classificateurs multi-classes.
Selon Davide Chicco et Giuseppe Jurman, la métrique la plus informative pour évaluer une matrice de confusion est le coefficient de corrélation de Matthews (MCC) .
En supposant la matrice de confusion ci-dessus, sa table de confusion correspondante, pour la classe chat, serait :
Classe prévue Classe réelle
|
Chat | Non-chat |
---|---|---|
Chat | 6 vrais positifs | 2 faux négatifs |
Non-chat | 1 faux positif | 3 vrais points négatifs |
Le tableau final de confusion contiendrait les valeurs moyennes pour toutes les classes combinées.
Définissons une expérience à partir de P instances positives et N instances négatives pour une condition. Les quatre résultats peuvent être formulés dans une matrice de confusion 2×2 , comme suit :
État prévu | Sources: | |||||
Population totale = P + N | Condition prédite positive (PP) |
Condition prédite négative (PN) |
Information, information du bookmaker (BM) = TPR + TNR − 1 | Seuil de prévalence (TP) = √ TPR · TFP - TFP/TPR − FPR | ||
Condition réelle positive (P) |
Vrai positif (TP) , appuyez sur |
Faux négatif (FN) , erreur de type II , échec, sous-estimation |
Taux de vrais positifs (TPR), rappel , sensibilité (SEN), probabilité de détection, taux de réussite, puissance =TP/P = 1 − FNR | Taux de faux négatifs (FNR), taux d'échec =FN/P = 1 − TPR | ||
Condition réelle négative (N) |
Faux positif (FP) , erreur de type I , fausse alarme, surestimation |
Vrai négatif (TN) , rejet correct |
Taux de faux positifs (FPR), probabilité de fausse alarme, retombées =PF/N = 1 − TNR | Taux vrai négatif (TNR), spécificité (SPC), sélectivité =TN/N = 1 − FPR | ||
Prévalence =P/P + N | Valeur prédictive positive (VPP), précision =TP/PP = 1 − FDR | Taux de fausses omissions (FOR) =FN/PN = 1 − VAN | Rapport de vraisemblance positif (LR+) =TPR/FPR | Rapport de vraisemblance négatif (LR−) =FNR/TNR | ||
Précision (ACC) =TP + TN/P + N | Taux de fausses découvertes (FDR) =PF/PP = 1 − VPC | Valeur prédictive négative (VAN) =TN/PN = 1 − POUR | Marquage (MK), deltaP (Δp) = VPP + VPN − 1 | Rapport de cotes diagnostique (DOR) =LR+/LR− | ||
Précision équilibrée (BA) =TPR + TNR/2 | F 1 note =2 · PPV · TPR/PPV + TPR = 2TP/2TP + FP + FN | Indice de Fowlkes–Mallows (FM) = √ PPV·TPR |
Coefficient de corrélation de Matthews (MCC) = √ TPR·TNR·PPV·NPV − √ FNR·FPR·FOR·FDR |
Score de menace (TS), indice de succès critique (CSI) =TP/TP + FN + FP |
Matrices de confusion avec plus de deux catégories
Les matrices de confusion discutées ci-dessus n'ont que deux conditions : positive et négative. Dans certains domaines, les matrices de confusion peuvent avoir plusieurs catégories. Par exemple, le tableau ci-dessous résume la communication d' une langue sifflée entre deux locuteurs, les valeurs zéro étant omises pour plus de clarté.
Voyelle perçue Voyelle
produite |
je | e | une | o | vous |
---|---|---|---|---|---|
je | 15 | 1 | |||
e | 1 | 1 | |||
une | 79 | 5 | |||
o | 4 | 15 | 3 | ||
vous | 2 | 2 |
Voir également
Les références