Partition de sommes de carrés - Partition of sums of squares

La partition de sommes de carrés est un concept qui imprègne une grande partie des statistiques inférentielles et des statistiques descriptives . Plus exactement, c'est le partitionnement de sommes d' écarts ou d'erreurs au carré . Mathématiquement, la somme des écarts au carré est une mesure de dispersion non mise à l'échelle ou non ajustée (également appelée variabilité ). Lorsqu'il est mis à l'échelle pour le nombre de degrés de liberté , il estime la variance , ou la répartition des observations sur leur valeur moyenne. Le partitionnement de la somme des écarts au carré en diverses composantes permet d'attribuer la variabilité globale d'un ensemble de données à différents types ou sources de variabilité, l'importance relative de chacun étant quantifiée par la taille de chaque composante de la somme globale des carrés.

Fond

La distance entre n'importe quel point d'une collection de données et la moyenne des données est l'écart. Cela peut être écrit comme , où est le ième point de données, et est l'estimation de la moyenne. Si tous ces écarts sont mis au carré, puis additionnés, comme dans , cela donne la "somme des carrés" pour ces données. ${\displaystyle y_{i}-{\overline {y}}}$${\style d'affichage y_{i}}$${\displaystyle {\overline {y}}}$${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\overline {y}}\,\right)^{2}}$

Lorsque plus de données sont ajoutées à la collection, la somme des carrés augmentera, sauf dans des cas improbables tels que les nouvelles données étant égales à la moyenne. Donc, généralement, la somme des carrés augmentera avec la taille de la collecte de données. C'est une manifestation du fait qu'il n'est pas mis à l'échelle.

Dans de nombreux cas, le nombre de degrés de liberté est simplement le nombre de données de la collection, moins un. Nous l'écrivons comme n  − 1, où n est le nombre de données.

La mise à l'échelle (également appelée normalisation) signifie ajuster la somme des carrés afin qu'elle n'augmente pas à mesure que la taille de la collecte de données augmente. Ceci est important lorsque l'on veut comparer des échantillons de tailles différentes, comme un échantillon de 100 personnes par rapport à un échantillon de 20 personnes. Si la somme des carrés n'était pas normalisée, sa valeur serait toujours plus grande pour l'échantillon de 100 personnes que pour l'échantillon de 20 personnes. Pour mettre à l'échelle la somme des carrés, nous la divisons par les degrés de liberté, c'est-à-dire calculons la somme des carrés par degré de liberté, ou variance. L'écart type , à son tour, est la racine carrée de la variance.

Ce qui précède décrit comment la somme des carrés est utilisée dans les statistiques descriptives ; voir l'article sur la somme totale des carrés pour une application de ce principe général aux statistiques inférentielles .

Partitionner la somme des carrés en régression linéaire

Théorème. Étant donné un modèle de régression linéaire incluant une constante , basé sur un échantillon contenant n observations, la somme des carrés totale peut être divisée comme suit en la somme des carrés expliquée (ESS) et la somme des carrés résiduelle (RSS) : ${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}}$ ${\displaystyle \beta _{0}}$${\style d'affichage (y_{i},x_{i1},\ldots ,x_{ip}),\,i=1,\ldots ,n}$${\displaystyle \mathrm {TSS} =\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}$

${\displaystyle \mathrm {TSS} =\mathrm {ESS} +\mathrm {RSS} ,}$

où cette équation est équivalente à chacune des formes suivantes :

${\displaystyle {\begin{aligned}\left\|y-{\bar {y}}\mathbf {1} \right\|^{2}&=\left\|{\hat {y}}-{ \bar {y}}\mathbf {1} \right\|^{2}+\left\|{\hat {\varepsilon }}\right\|^{2},\quad \mathbf {1} =( 1,1,\ldots ,1)^{T},\\\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}(y_ {i}-{\hat {y}}_{i})^{2},\\\sum _{i=1}^{n}(y_{i}-{\bar {y}})^ {2}&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1 }^{n}{\hat {\varepsilon }}_{i}^{2},\\\end{aligned}}}$

où est la valeur estimée par la droite de régression ayant , , ..., comme coefficients estimés .${\displaystyle {\hat {y}}_{i}}$${\displaystyle {\hat {b}}_{0}}$${\displaystyle {\hat {b}}_{1}}$${\displaystyle {\hat {b}}_{p}}$

Preuve

${\displaystyle {\begin{aligned}\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}&=\sum _{i=1}^ {n}(y_{i}-{\overline {y}}+{\hat {y}}_{i}-{\hat {y}}_{i})^{2}=\sum _{ i=1}^{n}(({\hat {y}}_{i}-{\bar {y}})+\underbrace {(y_{i}-{\hat {y}}_{i })} _{{\hat {\varepsilon }}_{i}})^{2}\\&=\sum _{i=1}^{n}(({\hat {y}}_{ i}-{\bar {y}})^{2}+2{\hat {\varepsilon }}_{i}({\hat {y}}_{i}-{\bar {y}}) +{\hat {\varepsilon }}_{i}^{2})\\&=\sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}+2\sum _{i=1}^{ n}{\hat {\varepsilon }}_{i}({\hat {y}}_{i}-{\bar {y}})\\&=\sum _{i=1}^{n }({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i }^{2}+2\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}({\hat {\beta }}_{0}+{\hat {\ bêta }}_{1}x_{i1}+\cdots +{\hat {\beta }}_{p}x_{ip}-{\overline {y}})\\&=\sum _{i= 1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}+2({\hat {\beta }}_{0}-{\overline {y}})\underbrace {\sum _{i=1}^{n}{ \hat {\varepsilon }}_{i}} _{0}+2{\hat {\b eta }}_{1}\underbrace {\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}x_{i1}} _{0}+\cdots +2{\ chapeau {\beta }}_{p}\underbrace {\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}x_{ip}} _{0}\\&= \sum _{i=1}^{n}({\hat {y}}_{i}-{\bar {y}})^{2}+\sum _{i=1}^{n} {\hat {\varepsilon }}_{i}^{2}=\mathrm {ESS} +\mathrm {RSS} \\\end{aligned}}}$

L'exigence que le modèle inclue une constante ou de manière équivalente que la matrice de conception contienne une colonne de uns garantit que , c'est-à-dire . ${\displaystyle \sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0}$${\displaystyle {\hat {\varepsilon }}^{T}\mathbf {1} =0}$

La preuve peut également être exprimée sous forme vectorielle, comme suit :

${\displaystyle {\begin{aligned}SS_{\text{total}}=\Vert \mathbf {y} -{\bar {y}}\mathbf {1} \Vert ^{2}&=\Vert \mathbf {y} -{\bar {y}}\mathbf {1} +\mathbf {\hat {y}} -\mathbf {\hat {y}} \Vert ^{2},\\&=\Vert \ left(\mathbf {\hat {y}} -{\bar {y}}\mathbf {1} \right)+\left(\mathbf {y} -\mathbf {\hat {y}} \right)\ Vert ^{2},\\&=\Vert {\mathbf {\hat {y}} -{\bar {y}}\mathbf {1} }\Vert ^{2}+\Vert {\hat {\ varepsilon }}\Vert ^{2}+2{\hat {\varepsilon }}^{T}\left(\mathbf {\hat {y}} -{\bar {y}}\mathbf {1} \right ),\\&=SS_{\text{regression}}+SS_{\text{error}}+2{\hat {\varepsilon }}^{T}\left(X{\hat {\beta }}- {\bar {y}}\mathbf {1} \right),\\&=SS_{\text{regression}}+SS_{\text{error}}+2\left({\hat {\varepsilon }} ^{T}X\right){\hat {\beta }}-2{\bar {y}}\underbrace {{\hat {\varepsilon }}^{T}\mathbf {1} } _{0} ,\\&=SS_{\text{regression}}+SS_{\text{error}}.\end{aligned}}}$

L'élimination des termes dans la dernière ligne, a utilisé le fait que

${\displaystyle {\hat {\varepsilon }}^{T}X=\left(\mathbf {y} -\mathbf {\hat {y}} \right)^{T}X=\mathbf {y} ^ {T}(IX(X^{T}X)^{-1}X^{T})X={\mathbf {y} }^{T}(XX)={\mathbf {0} }.}$

Partitionnement supplémentaire

Notez que la somme des carrés résiduelle peut être divisée en tant que somme des carrés sans ajustement plus la somme des carrés due à une erreur pure.

Voir également

• Espace produit intérieur
  • Espace Hilbert
    • Espace euclidien
• Carrés moyens attendus
  • Orthogonalité
  • Base orthonormée
    • Complément orthogonal , le sous-espace fermé orthogonal à un ensemble (en particulier un sous-espace)
    • Réseau orthomodulaire des sous-espaces d'un espace de produit interne
    • Projection orthogonale
  • Théorème de Pythagore selon lequel la somme des normes au carré des sommes orthogonales est égale à la norme au carré de la somme.
• Moindres carrés
• Erreur quadratique moyenne
• Écarts au carré

Les références

• Bailey, RA (2008). Conception d'expériences comparatives . La presse de l'Universite de Cambridge. ISBN 978-0-521-68357-9. Les chapitres de pré-publication sont disponibles en ligne.
• Christensen, Ronald (2002). Réponses d'avion aux questions complexes : La théorie des modèles linéaires (le troisième rédacteur). New York : Springer. ISBN 0-387-95361-2.
• Whittle, Peter (1963). Prédiction et régulation . Presse des universités anglaises. ISBN 0-8166-1147-5.

  Republié sous le titre : Whittle, P. (1983). Prédiction et régulation par les méthodes des moindres carrés linéaires . Presse de l'Université du Minnesota. ISBN 0-8166-1148-3.

• Whittle, P. (20 avril 2000). Probabilité via l'attente (4e éd.). Springer. ISBN 0-387-98955-2.