Régression de crête - Ridge regression

La régression Ridge est une méthode d'estimation des coefficients des modèles de régression multiple dans des scénarios où les variables indépendantes sont fortement corrélées. Il a des utilisations dans des domaines tels que l'économétrie, la chimie et l'ingénierie.

La théorie a été introduite pour la première fois par Hoerl et Kennard en 1970 dans leurs articles Technometrics « Régressions RIDGE : estimation biaisée des problèmes non orthogonaux » et « Régressions RIDGE : applications dans des problèmes non orthogonaux ». C'est le résultat de dix années de recherche dans le domaine de l'analyse des crêtes.

La régression Ridge a été développée comme une solution possible à l'imprécision des estimateurs des moindres carrés lorsque les modèles de régression linéaire ont des variables indépendantes multicollinéaires (fortement corrélées) en créant un estimateur de régression Ridge (RR). Cela fournit une estimation des paramètres de crête plus précise, car sa variance et son estimateur quadratique moyen sont souvent plus petits que les estimateurs des moindres carrés précédemment dérivés.

Détails mathématiques

Dans la régression linéaire standard, un vecteur colonne doit être projeté sur l'espace colonne de la matrice de conception (généralement ) dont les colonnes sont fortement corrélées. L' estimateur des moindres carrés ordinaires des coefficients par lesquels les colonnes sont multipliées pour obtenir la projection orthogonale est ${\textstyle n\fois 1}$${\textstyle y}$${\textstyle n\fois p}$${\styletexte X}$${\textstyle p\ll n}$${\textstyle \beta \in \mathbb {R} ^{p\times 1}}$${\textstyle X\beta }$

${\displaystyle {\widehat {\beta }}=(X^{T}X)^{-1}X^{T}y}$

(où est la transposition de ). ${\textstyle X^{T}}$${\styletexte X}$

En revanche, l'estimateur de régression de crête est

${\displaystyle {\widehat {\beta }}_{\text{ridge}}=(X^{T}X+kI_{p})^{-1}X^{T}y}$

où est la matrice identité et est petit. ${\textstyle I_{p}}$${\textstyle p\fois p}$${\textstyle k>0}$

Les références