Corrélation de distance - Distance correlation

En statistique et en théorie des probabilités , la corrélation de distance ou la covariance de distance est une mesure de dépendance entre deux vecteurs aléatoires appariés de dimension arbitraire, pas nécessairement égale . Le coefficient de corrélation de distance de population est nul si et seulement si les vecteurs aléatoires sont indépendants . Ainsi, la corrélation de distance mesure à la fois l'association linéaire et non linéaire entre deux variables aléatoires ou vecteurs aléatoires. Ceci contraste avec la corrélation de Pearson , qui ne peut détecter qu'une association linéaire entre deux variables aléatoires .

La corrélation de distance peut être utilisée pour effectuer un test statistique de dépendance avec un test de permutation . On calcule d'abord la corrélation de distance (impliquant le recentrage des matrices de distance euclidiennes) entre deux vecteurs aléatoires, puis on compare cette valeur aux corrélations de distance de nombreux brassages de données.

Plusieurs ensembles de points ( x ,  y ), avec le coefficient de corrélation de distance x et y pour chaque ensemble. Comparer au graphique sur la corrélation

Fond

La mesure classique de la dépendance, le coefficient de corrélation de Pearson , est principalement sensible à une relation linéaire entre deux variables. La corrélation de distance a été introduite en 2005 par Gábor J. Székely dans plusieurs conférences pour remédier à cette lacune de la corrélation de Pearson , à savoir qu'elle peut facilement être nulle pour les variables dépendantes. La corrélation = 0 (non corrélée) n'implique pas l'indépendance tandis que la corrélation de distance = 0 implique l'indépendance. Les premiers résultats sur la corrélation de distance ont été publiés en 2007 et 2009. Il a été prouvé que la covariance de distance est la même que la covariance brownienne. Ces mesures sont des exemples de distances énergétiques .

La corrélation de distance est dérivée d'un certain nombre d'autres quantités qui sont utilisées dans le cahier des charges, en particulier: la variance de la distance , l' écart type de la distance et de covariance à distance . Ces quantités jouent les mêmes rôles que les moments ordinaires avec des noms correspondants dans la spécification du coefficient de corrélation produit-moment de Pearson .

Définitions

Covariance de distance

Commençons par la définition de la covariance de distance d'échantillon . Soit ( X _k ,  Y _k ), k  = 1, 2, ..., n un échantillon statistique d'une paire de variables aléatoires à valeur réelle ou vectorielle ( X ,  Y ). Tout d'abord, calculez les matrices de distance n par n ( a _{j , k} ) et ( b _{j , k} ) contenant toutes les distances par paires

${\displaystyle {\begin{aligned}a_{j,k}&=\|X_{j}-X_{k}\|,\qquad j,k=1,2,\ldots ,n,\\b_{ j,k}&=\|Y_{j}-Y_{k}\|,\qquad j,k=1,2,\ldots ,n,\end{aligned}}}$

où ||⋅ || désigne la norme euclidienne . Puis prendre toutes les distances doublement centrées

${\displaystyle A_{j,k} :=a_{j,k}-{\overline {a}}_{j\cdot }-{\overline {a}}_{\cdot k}+{\overline { a}}_{\cdot \cdot },\qquad B_{j,k}:=b_{j,k}-{\overline {b}}_{j\cdot }-{\overline {b}}_ {\cdot k}+{\overline {b}}_{\cdot \cdot },}$

où est la moyenne de la j -ième ligne, est la moyenne de la k -ième colonne et est la moyenne générale de la matrice de distance de l' échantillon X. La notation est similaire pour les valeurs b . (Dans les matrices de distances centrées ( A _{j , k} ) et ( B _{j , k} ) toutes les lignes et toutes les colonnes totalisent zéro.) La covariance de distance d'échantillon au carré (un scalaire) est simplement la moyenne arithmétique des produits A _{j , k} B _{j , k} : ${\displaystyle \textstyle {\overline {a}}_{j\cdot }}$${\displaystyle \textstyle {\overline {a}}_{\cdot k}}$${\displaystyle \textstyle {\overline {a}}_{\cdot \cdot }}$

${\displaystyle \operatorname {dCov} _{n}^{2}(X,Y):={\frac {1}{n^{2}}}\sum _{j=1}^{n}\ somme _{k=1}^{n}A_{j,k}\,B_{j,k}.}$

La statistique T _n = n dCov ² _n ( X , Y ) détermine un test multivarié cohérent d'indépendance des vecteurs aléatoires dans des dimensions arbitraires. Pour une implémentation voir fonction dcov.test dans le package énergétique pour R .

La valeur de population de la covariance de distance peut être définie selon les mêmes lignes. Soit X une variable aléatoire qui prend des valeurs dans un espace euclidien de dimension p avec une distribution de probabilité μ et soit Y une variable aléatoire qui prend des valeurs dans un espace euclidien de dimension q avec une distribution de probabilité ν , et supposons que X et Y ont des valeurs finies attentes. Écrivez

${\displaystyle a_{\mu }(x):=\operatorname {E} [\|Xx\|],\quad D(\mu ):=\operatorname {E} [a_{\mu }(X)] ,\quad d_{\mu }(x,x'):=\|x-x'\|-a_{\mu }(x)-a_{\mu }(x')+D(\mu ). }$

Enfin, définissez la valeur de population de la covariance de distance au carré de X et Y comme

${\displaystyle \operatorname {dCov} ^{2}(X,Y):=\operatorname {E} {\big [}d_{\mu }(X,X')d_{\nu }(Y,Y' ){\gros ]}.}$

On peut montrer que cela équivaut à la définition suivante :

${\displaystyle {\begin{aligned}\operatorname {dCov} ^{2}(X,Y):={}&\operatorname {E} [\|X-X'\|\,\|Y-Y' \|]+\operatorname {E} [\|X-X'\|]\,\operatorname {E} [\|Y-Y'\|]\\&\qquad {}-\operatorname {E} [ \|X-X'\|\,\|Y-Y''\|]-\operatorname {E} [\|X-X''\|\,\|Y-Y'\|]\\= {}&\operatorname {E} [\|X-X'\|\,\|Y-Y'\|]+\operatorname {E} [\|X-X'\|]\,\operatorname {E } [\|Y-Y'\|]\\&\qquad {}-2\operatorname {E} [\|X-X'\|\,\|Y-Y''\|],\end{ aligné}}}$

où E désigne la valeur attendue, et et sont indépendants et distribués de manière identique. Les variables aléatoires amorcées et désignent des copies indépendantes et distribuées de manière identique (iid) des variables et et sont de même iid. La covariance de distance peut être exprimée en termes de covariance de Pearson classique , cov , comme suit : ${\displaystyle \textstyle (X,Y),}$ ${\displaystyle \textstyle (X',Y'),}$${\displaystyle \textstyle (X'',Y'')}$${\displaystyle \textstyle (X',Y')}$${\displaystyle \textstyle (X'',Y'')}$${\style d'affichage X}$${\style d'affichage Y}$

${\displaystyle \operatorname {dCov} ^{2}(X,Y)=\operatorname {cov} (\|X-X'\|,\|Y-Y'\|)-2\operatorname {cov} ( \|X-X'\|,\|Y-Y''\|).}$

Cette identité montre que la covariance des distances n'est pas la même que la covariance des distances, cov(|| X − X' ||, || Y − Y' || ). Celui-ci peut être nul même si X et Y ne sont pas indépendants.

Alternativement, la covariance de distance peut être définie comme la norme pondérée L ² de la distance entre la fonction caractéristique jointe des variables aléatoires et le produit de leurs fonctions caractéristiques marginales :

${\displaystyle \operatorname {dCov} ^{2}(X,Y)={\frac {1}{c_{p}c_{q}}}\int _{\mathbb {R} ^{p+q} }{\frac {\gauche|\varphi _{X,Y}(s,t)-\varphi _{X}(s)\varphi _{Y}(t)\right|^{2}}{| s|_{p}^{1+p}|t|_{q}^{1+q}}}\,dt\,ds}$

où , , et sont les fonctions caractéristiques de ( X , Y ), X et Y , respectivement, p , q désignent la dimension euclidienne de X et Y , et donc de s et t , et c _p , c _q sont des constantes. La fonction de pondération est choisie pour produire une mesure d'équivariante d'échelle et d'invariance de rotation qui ne va pas à zéro pour les variables dépendantes. Une interprétation de la définition de la fonction caractéristique est que les variables l' e ^ISX et e ^Ity sont des représentations cycliques de X et Y avec des périodes données par s et t , et l'expression φ _{X , Y} ( s , t ) - φ _X ( s ) ϕ _Y ( t ) dans le numérateur de la fonction caractéristique définition de la covariance de distance est simplement la covariance classique de e ^isX et e ^itY . La définition de la fonction caractéristique montre clairement que dCov ² ( X , Y ) = 0 si et seulement si X et Y sont indépendants. ${\displaystyle \varphi _{X,Y}(s,t)}$${\displaystyle \varphi _{X}(s)}$${\displaystyle \varphi _{Y}(t)}$ ${\style d'affichage ({c_{p}c_{q}}{|s|_{p}^{1+p}|t|_{q}^{1+q}})^{-1}}$

Variance de distance et écart type de distance

La variance de distance est un cas particulier de covariance de distance lorsque les deux variables sont identiques. La valeur de population de la variance de distance est la racine carrée de

${\displaystyle \operatorname {dVar} ^{2}(X):=\operatorname {E} [\|X-X'\|^{2}]+\operatorname {E} ^{2}[\|X -X'\|]-2\operatorname {E} [\|X-X'\|\,\|X-X''\|],}$

où , , et sont des variables aléatoires indépendantes et distribuées de manière identique , désigne la valeur attendue , et pour la fonction , par exemple, . ${\style d'affichage X}$${\style d'affichage X'}$${\style d'affichage X''}$${\displaystyle \operatorname {E} }$${\displaystyle f^{2}(\cdot )=(f(\cdot ))^{2}}$${\style d'affichage f(\cdot )}$${\displaystyle \operatorname {E} ^{2}[\cdot ]=(\operatorname {E} [\cdot ])^{2}}$

La variance de la distance de l'échantillon est la racine carrée de

${\displaystyle \operatorname {dVar} _{n}(X):=\operatorname {dCov} _{n}^{2}(X,X)={\tfrac {1}{n^{2}}} \sum _{k,\ell }A_{k,\ell }^{2},}$

qui est un parent de Gini Corrado de différence moyenne introduite en 1912 (mais n'a pas fonctionné indice de Gini des distances centrées).

L' écart-type de distance est la racine carrée de la variance de distance .

Corrélation de distance

La corrélation de distance de deux variables aléatoires est obtenue en divisant leur covariance de distance par le produit de leurs écarts-types de distance . La corrélation de distance est

${\displaystyle \operatorname {dCor} (X,Y)={\frac {\operatorname {dCov^{2}} (X,Y)}{\sqrt {\operatorname {dVar} (X)\,\operatorname { dVar} (O)}}},}$

et la corrélation de distance d'échantillon est définie en substituant la covariance de distance d'échantillon et les variances de distance aux coefficients de population ci-dessus.

Pour un calcul facile de la corrélation de distance d'échantillon, voir la fonction dcor dans le package d' énergie pour R .

Propriétés

Corrélation de distance

Covariance de distance

Cette dernière propriété est l'effet le plus important du travail avec des distances centrées.

La statistique est un estimateur biaisé de . Sous indépendance de X et Y ${\displaystyle \operatorname {dCov} _{n}^{2}(X,Y)}$${\displaystyle \operatorname {dCov} ^{2}(X,Y)}$

${\displaystyle {\begin{aligned}\operatorname {E} [\operatorname {dCov} _{n}^{2}(X,Y)]&={\frac {n-1}{n^{2} }}\left\{(n-2)\operatorname {dCov} ^{2}(X,Y)+\operatorname {E} [\|X-X'\|]\,\operatorname {E} [\ |Y-Y'\|]\right\}\\[6pt]&={\frac {n-1}{n^{2}}}\operatorname {E} [\|X-X'\|] \,\operatorname {E} [\|Y-Y'\|].\end{aligned}}}$

Un estimateur sans biais de est donné par Székely et Rizzo. ${\displaystyle \operatorname {dCov} ^{2}(X,Y)}$

Variation de distance

L'égalité est vérifiée dans (iv) si et seulement si l'une des variables aléatoires X ou Y est une constante.

Généralisation

La covariance de distance peut être généralisée pour inclure les puissances de la distance euclidienne. Définir

${\displaystyle {\begin{aligned}\operatorname {dCov} ^{2}(X,Y;\alpha ):={}&\operatorname {E} [\|X-X'\|^{\alpha } \,\|Y-Y'\|^{\alpha }]+\operatorname {E} [\|X-X'\|^{\alpha }]\,\operatorname {E} [\|Y-Y '\|^{\alpha }]\\&\qquad {}-2\operatorname {E} [\|X-X'\|^{\alpha }\,\|Y-Y''\|^{ \alpha }].\end{aligned}}}$

Alors pour tout , et sont indépendants si et seulement si . Il est important de noter que cette caractérisation ne vaut pas pour l'exposant ; dans ce cas pour bivariée , est une fonction déterministe de la corrélation de Pearson. Si et sont des puissances des distances correspondantes, , alors la covariance de distance d'échantillon peut être définie comme le nombre non négatif pour lequel ${\style d'affichage 0<\alpha <2}$${\style d'affichage X}$${\style d'affichage Y}$${\displaystyle \operatorname {dCov} ^{2}(X,Y;\alpha )=0}$${\style d'affichage \alpha =1}$${\style d'affichage (X,Y)}$${\displaystyle \operatorname {dCor} (X,Y;\alpha =2)}$${\displaystyle a_{k,\ell }}$${\displaystyle b_{k,\ell }}$${\style d'affichage \alpha }$${\style d'affichage 0<\alpha \leq 2}$${\style d'affichage \alpha }$

${\displaystyle \operatorname {dCov} _{n}^{2}(X,Y;\alpha ):={\frac {1}{n^{2}}}\sum _{k,\ell }A_ {k,\ell }\,B_{k,\ell }.}$

On peut étendre aux variables aléatoires à valeurs d' espace métrique et : Si a une loi dans un espace métrique de métrique , alors définir , , et (à condition qu'il soit fini, c'est-à-dire qu'il ait un premier moment fini), . Alors si a la loi (dans un espace métrique éventuellement différent avec un premier moment fini), définir ${\displaystyle \operatorname {dCov} }$ ${\style d'affichage X}$${\style d'affichage Y}$${\style d'affichage X}$${\style d'affichage \mu }$${\style d'affichage d}$${\displaystyle a_{\mu }(x):=\operatorname {E} [d(X,x)]}$${\displaystyle D(\mu ):=\operatorname {E} [a_{\mu }(X)]}$${\displaystyle a_{\mu }}$${\style d'affichage X}$${\displaystyle d_{\mu }(x,x'):=d(x,x')-a_{\mu }(x)-a_{\mu }(x')+D(\mu )}$${\style d'affichage Y}$${\style d'affichage \nu }$

${\displaystyle \operatorname {dCov} ^{2}(X,Y):=\operatorname {E} {\big [}d_{\mu }(X,X')d_{\nu }(Y,Y' ){\gros ]}.}$

Ce n'est pas négatif pour tous ces ssi les deux espaces métriques ont un type négatif. Ici, un espace métrique est de type négatif s'il est isométrique à un sous-ensemble d'un espace de Hilbert . Si les deux espaces métriques ont un type négatif fort, alors ssi sont indépendants. ${\style d'affichage X, Y}$${\style d'affichage (M,d)}$${\style d'affichage (M,d^{1/2})}$${\displaystyle \operatorname {dCov} ^{2}(X,Y)=0}$${\style d'affichage X, Y}$

Définition alternative de la covariance de distance

La covariance de distance d' origine a été définie comme la racine carrée de , plutôt que le coefficient carré lui-même. a la propriété que c'est la distance d'énergie entre la distribution conjointe de et le produit de ses marginaux. Selon cette définition, cependant, la variance de distance, plutôt que l'écart type de distance, est mesurée dans les mêmes unités que les distances. ${\displaystyle \operatorname {dCov} ^{2}(X,Y)}$${\displaystyle \operatorname {dCov} (X,Y)}$${\displaystyle \operatorname {X} ,Y}$${\displaystyle \operatorname {X} }$

Alternativement, on pourrait définir la covariance de distance comme le carré de la distance énergétique : dans ce cas, l'écart type de distance de est mesuré dans les mêmes unités que la distance, et il existe un estimateur sans biais pour la covariance de distance de la population. ${\displaystyle \operatorname {dCov} ^{2}(X,Y).}$${\style d'affichage X}$${\style d'affichage X}$

Dans ces définitions alternatives, la corrélation de distance est également définie comme le carré , plutôt que la racine carrée. ${\displaystyle \operatorname {dCor} ^{2}(X,Y)}$

Formulation alternative : covariance brownienne

La covariance brownienne est motivée par la généralisation de la notion de covariance aux processus stochastiques. Le carré de la covariance des variables aléatoires X et Y peut s'écrire sous la forme suivante :

${\displaystyle \operatorname {cov} (X,Y)^{2}=\operatorname {E} \left[{\big (}X-\operatorname {E} (X){\big )}{\big ( }X^{\mathrm {'} }-\operatorname {E} (X^{\mathrm {'} }){\big )}{\big (}Y-\operatorname {E} (Y){\big )}{\big (}Y^{\mathrm {'} }-\operatorname {E} (Y^{\mathrm {'} }){\big )}\right]}$

où E désigne la valeur attendue et le nombre premier désigne des copies indépendantes et distribuées de manière identique. Nous avons besoin de la généralisation suivante de cette formule. Si U(s), V(t) sont des processus aléatoires arbitraires définis pour tous les réels s et t alors définissent la version U-centrée de X par

${\displaystyle X_{U}:=U(X)-\operatorname {E} _{X}\left[U(X)\mid \left\{U(t)\right\}\right]}$

chaque fois que la valeur attendue conditionnelle soustraite existe et notez Y _V la version centrée sur V de Y. La covariance (U,V) de (X,Y) est définie comme le nombre non négatif dont le carré est

${\displaystyle \operatorname {cov} _{U,V}^{2}(X,Y):=\operatorname {E} \left[X_{U}X_{U}^{\mathrm {'} }Y_ {V}Y_{V}^{\mathrm {'} }\right]}$

chaque fois que le membre de droite est non négatif et fini. L'exemple le plus important est lorsque U et V sont des mouvements browniens bilatéral indépendants / processus de Wiener avec une espérance nulle et une covariance | s | + | t | − | s − t | = 2 min( s , t ) (pour s non négatifs, t uniquement). (C'est deux fois la covariance du processus de Wiener standard ; ici le facteur 2 simplifie les calculs.) Dans ce cas, la covariance ( U , V ) est appelée covariance brownienne et est notée par

${\displaystyle \operatorname {cov} _{W}(X,Y).}$

Il y a une coïncidence surprenante : la covariance brownienne est la même que la covariance de distance :

${\displaystyle \operatorname {cov} _{\mathrm {W} }(X,Y)=\operatorname {dCov} (X,Y),}$

et donc la corrélation brownienne est la même que la corrélation de distance.

D'autre part, si nous remplaçons le mouvement brownien par la fonction d'identité déterministe id alors Cov _id ( X , Y ) est simplement la valeur absolue de la covariance de Pearson classique ,

${\displaystyle \operatorname {cov} _{\mathrm {id} }(X,Y)=\left\vert \operatorname {cov} (X,Y)\right\vert .}$

Métriques associées

D'autres métriques corrélationnelles, y compris les métriques corrélationnelles basées sur le noyau (telles que le critère d'indépendance de Hilbert-Schmidt ou HSIC) peuvent également détecter les interactions linéaires et non linéaires. La corrélation de distance et les métriques basées sur le noyau peuvent être utilisées dans des méthodes telles que l' analyse de corrélation canonique et l' analyse de composants indépendants pour obtenir une puissance statistique plus élevée .

Voir également

• Coefficient de RV
• Pour une statistique de troisième ordre associée, voir Asymétrie de distance .

Remarques

Les références

• Bickel, Peter J.; Xu, Ying (2009). "Discussion de: Covariance de distance brownienne" . Les Annales de la statistique appliquée . 3 (4) : 1266-1269. doi : 10.1214/09-AOAS312A .
• Gini, C. (1912). Variabilità e Mutabilità . Bologne : Tipografia di Paolo Cuppini. Bibcode : 1912vamu.book ..... G .
• Kosorok, Michael R. (2009). "Discussion de: covariance de distance brownienne". Les Annales de la statistique appliquée . 3 (4) : 1270-1278. arXiv : 1010.0822 . doi : 10.1214/09-AOAS312B . S2CID  88518490 .
• Pearson, K. (1895). "Note sur la régression et l'héritage dans le cas de deux parents". Actes de la Royal Society . 58 : 240-242. Bibcode : 1895RSPS ... 58..240P .
• Pearson, K. (1895). "Notes sur l'histoire de la corrélation" . Biometrika . 13 : 25-45. doi : 10.1093/biomet/13.1.25 .
• Székely, Gábor J. ; Rizzo, Maria L. (2009a). "Covariance de distance brownienne" . Les Annales de la statistique appliquée . 3 (4) : 1236-1265. doi : 10.1214/09-AOAS312 . PMC  2889501 . PMID  20574547 .
• Székely, Gabor J. ; Rizzo, Maria L. (2009b). « Duplique : covariance de distance brownienne » . Les Annales de la statistique appliquée . 3 (4) : 1303-1308. doi : 10.1214/09-AOAS312REJ .
• Székely, Gabor J.; Rizzo, Maria L. (2014). « Corrélation de distance partielle avec des méthodes pour les dissemblances ». Les Annales de la statistique . 42 (6) : 2382-2412. arXiv : 1310.2926 . Bibcode : 2014arXiv1310.2926S . doi : 10.1214/14-AOS1255 . S2CID  55801702 .

Liens externes

• E-statistiques (statistiques énergétiques)