Estimateur cohérent - Consistent estimator

{ T ₁ , T ₂ , T ₃ , ...} est une suite d'estimateurs pour le paramètre θ ₀ , dont la vraie valeur est 4. Cette suite est cohérente : les estimateurs se concentrent de plus en plus près de la vraie valeur θ ₀ ; en même temps, ces estimateurs sont biaisés. La distribution limite de la séquence est une variable aléatoire dégénérée qui est égale à θ ₀ avec probabilité 1.

Dans les statistiques , un estimateur ou estimateur asymptotiquement consistant est un estimateur règle -a pour calculer les estimations d'un paramètre thetav ₀ -vu la propriété que , lorsque le nombre de points de données utilisé augmente indéfiniment, la séquence résultante d'estimations converge en probabilité de & thetav ₀ . Cela signifie que les distributions des estimations deviennent de plus en plus concentrées près de la vraie valeur du paramètre estimé, de sorte que la probabilité que l'estimateur soit arbitrairement proche de θ ₀ converge vers un.

En pratique on construit un estimateur en fonction d'un échantillon disponible de taille n , puis on imagine pouvoir continuer à collecter des données et élargir l'échantillon à l' infini . De cette façon, on obtiendrait une séquence d'estimations indexées par n , et la cohérence est une propriété de ce qui se produit lorsque la taille de l'échantillon « grandit jusqu'à l'infini ». S'il est possible de démontrer mathématiquement que la séquence d'estimations converge en probabilité vers la vraie valeur θ ₀ , on l'appelle un estimateur cohérent ; sinon, l'estimateur est dit incohérent .

La cohérence telle que définie ici est parfois appelée cohérence faible . Lorsque nous remplaçons la convergence en probabilité par une convergence presque sûre , alors l'estimateur est dit fortement cohérent . La cohérence est liée au biais ; voir biais versus cohérence .

Définition

Formellement parlant, un estimateur T _n du paramètre θ est dit consistant , s'il converge en probabilité vers la vraie valeur du paramètre :

{\underset {n\to \infty }{\operatorname {plim} }}\;T_{n}=\theta .

c'est-à-dire si, pour tout ε > 0

\lim _{n\to \infty }\Pr {\big (}|T_{n}-\theta |>\varepsilon {\big )}=0.

Une définition plus rigoureuse tient compte du fait que θ est en fait inconnu, et donc la convergence en probabilité doit avoir lieu pour toutes les valeurs possibles de ce paramètre. Supposons que { p _θ : θ ∈ Θ } est une famille de distributions (le modèle paramétrique ), et X ^θ = { X ₁ , X ₂ , … : X _i ~ p _θ } est un échantillon infini de la distribution p _θ . Soit { T _n ( X ^θ ) } une séquence d'estimateurs pour un paramètre g ( θ ). Habituellement, T _n sera basé sur les n premières observations d'un échantillon. Alors cette suite { T _n } est dite (faiblement) cohérente si

{\underset {n\to \infty }{\operatorname {plim} }}\;T_{n}(X^{\theta })=g(\theta ),\ \ {\text{for all }}\ \theta \in \Theta .

Cette définition utilise g ( θ ) au lieu de simplement θ , car on s'intéresse souvent à l'estimation d'une certaine fonction ou d'un sous-vecteur du paramètre sous-jacent. Dans l'exemple suivant, nous estimons le paramètre d'emplacement du modèle, mais pas l'échelle :

Exemples

Moyenne de l'échantillon d'une variable aléatoire normale

Supposons que l'on ait une séquence d'observations { X ₁ , X ₂ , ...} à partir d'une distribution normale N ( μ , σ ² ) . Pour estimer μ sur la base des n premières observations, on peut utiliser la moyenne de l' échantillon : T _n = ( X ₁ + ... + X _n )/ n . Cela définit une séquence d'estimateurs, indexée par la taille de l'échantillon n .

A partir des propriétés de la distribution normale, nous connaissons la distribution d'échantillonnage de cette statistique : T _n est elle-même distribuée normalement, de moyenne μ et de variance σ ² / n . De manière équivalente, a une distribution normale standard : $\scriptstyle (T_{n}-\mu )/(\sigma /{\sqrt {n}})$

\Pr \!\left[\,|T_{n}-\mu |\geq \varepsilon \,\right]=\Pr \!\left[{\frac {{\sqrt {n}}\ ,{\big |}T_{n}-\mu {\big |}}{\sigma }}\geq {\sqrt {n}}\varepsilon /\sigma \right]=2\left(1-\Phi \left({\frac {{\sqrt {n}}\,\varepsilon }{\sigma }}\right)\right)\to 0

comme n tend vers l' infini, pour tout fixe ε > 0 . Par conséquent, la séquence T _n de moyens échantillon est uniforme pour la population moyenne μ ( en rappelant que le distribution cumulative de la distribution normale). ${\style d'affichage \Phi }$

Établir la cohérence

La notion de consistance asymptotique est très proche, presque synonyme de la notion de convergence en probabilité. En tant que tel, tout théorème, lemme ou propriété qui établit la convergence en probabilité peut être utilisé pour prouver la cohérence. De nombreux outils de ce type existent :

Afin de démontrer la cohérence directement à partir de la définition, on peut utiliser l'inégalité

\Pr \!{\big [}h(T_{n}-\theta )\geq \varepsilon {\big ]}\leq {\frac {\operatorname {E} {\big [}h(T_ {n}-\theta ){\big ]}}{h(\varepsilon )}},

le choix le plus courant pour la fonction h étant soit la valeur absolue (auquel cas elle est connue sous le nom d' inégalité de Markov ), soit la fonction quadratique (respectivement l'inégalité de Chebyshev ).

Un autre résultat utile est le théorème d'application continue : si T _n est cohérent pour θ et g (·) est une fonction à valeur réelle continue au point θ , alors g ( T _n ) sera cohérent pour g ( θ ) :

T_{n}\ {\xrightarrow {p}}\ \theta \ \quad \Rightarrow \quad g(T_{n})\ {\xrightarrow {p}}\ g(\theta )

Le théorème de Slutsky peut être utilisé pour combiner plusieurs estimateurs différents, ou un estimateur avec une séquence convergente non aléatoire. Si T _n → ^d α , et S _n → ^p β , alors

{\begin{aligned}&T_{n}+S_{n}\ {\xrightarrow {d}}\ \alpha +\beta ,\\&T_{n}S_{n}\ {\xrightarrow {d} }\ \alpha \beta ,\\&T_{n}/S_{n}\ {\xrightarrow {d}}\ \alpha /\beta ,{\text{ à condition que }}\beta \neq 0\end{aligned }}

Si l'estimateur T _n est donné par une formule explicite, alors très probablement la formule emploiera des sommes de variables aléatoires, et alors la loi des grands nombres peut être utilisée : pour une séquence { X _n } de variables aléatoires et dans des conditions appropriées,

{\frac {1}{n}}\sum _{i=1}^{n}g(X_{i})\ {\xrightarrow {p}}\ \operatorname {E} [\,g (X)\,]

Si l'estimateur T _n est défini implicitement, par exemple comme une valeur qui maximise une certaine fonction objectif (voir l' estimateur extremum ), alors un argument plus compliqué impliquant l'équicontinuité stochastique doit être utilisé.

Biais contre cohérence

Impartial mais pas cohérent

Un estimateur peut être sans biais mais non cohérent. Par exemple, pour un échantillon iid { x
₁,..., x
_m} on peut utiliser T
_m( X ) = x
_mcomme estimateur de la moyenne E[ x ]. Notez qu'ici la distribution d'échantillonnage de T
_mest la même que la distribution sous-jacente (pour tout n, car elle ignore tous les points sauf le dernier), donc E[ T
_m( X )] = E[ x ] et il est sans biais, mais il ne converge vers aucune valeur.

Cependant, si une séquence d'estimateurs est sans biais et converge vers une valeur, alors elle est cohérente, car elle doit converger vers la valeur correcte.

Biais mais cohérent

Alternativement, un estimateur peut être biaisé mais cohérent. Par exemple, si la moyenne est estimée par elle est biaisée, mais comme , elle s'approche de la valeur correcte et est donc cohérente. ${1 \over n}\sum x_{i}+{1 \over n}$ $n\rightarrow \infty$

Des exemples importants incluent la variance de l' échantillon et l' écart type de l'échantillon . Sans la correction de Bessel (c'est-à-dire lorsque l'on utilise la taille de l'échantillon au lieu des degrés de liberté ), ce sont à la fois des estimateurs biaisés négativement mais cohérents. Avec la correction, la variance de l'échantillon corrigée est sans biais, tandis que l'écart type de l'échantillon corrigé est toujours biaisé, mais moins, et les deux sont toujours cohérents : le facteur de correction converge vers 1 à mesure que la taille de l'échantillon augmente. ${\style d'affichage n}$ ${\style d'affichage n-1}$