L'inégalité de Jensen - Jensen's inequality

L'inégalité de Jensen généralise l'affirmation selon laquelle une ligne sécante d'une fonction convexe se trouve au-dessus de son graphique.

Lire les médias

Visualiser la convexité et l'inégalité de Jensen

En mathématiques , l'inégalité de Jensen , du nom du mathématicien danois Johan Jensen , relie la valeur d'une fonction convexe d'une intégrale à l'intégrale de la fonction convexe. Elle a été prouvée par Jensen en 1906. Compte tenu de sa généralité, l' inégalité apparaît sous de nombreuses formes selon le contexte, dont certaines sont présentées ci-dessous. Dans sa forme la plus simple, l'inégalité énonce que la transformation convexe d'une moyenne est inférieure ou égale à la moyenne appliquée après transformation convexe ; c'est un simple corollaire que l'inverse est vrai des transformations concaves.

L'inégalité de Jensen généralise l'affirmation selon laquelle la ligne sécante d'une fonction convexe se situe au - dessus du graphique de la fonction , qui est l'inégalité de Jensen pour deux points : la ligne sécante est constituée des moyennes pondérées de la fonction convexe (pour t  [0,1]) ,

${\style d'affichage tf(x_{1})+(1-t)f(x_{2}),}$

tandis que le graphique de la fonction est la fonction convexe des moyennes pondérées,

${\style d'affichage f(tx_{1}+(1-t)x_{2}).}$

Ainsi, l'inégalité de Jensen est

${\displaystyle f(tx_{1}+(1-t)x_{2})\leq tf(x_{1})+(1-t)f(x_{2}).}$

Dans le contexte de la théorie des probabilités , il est généralement indiqué sous la forme suivante: si X est une variable aléatoire et φ est une fonction convexe, puis

${\displaystyle \varphi (\operatorname {E} [X])\leq \operatorname {E} \left[\varphi (X)\right].}$

La différence entre les deux côtés de l'inégalité, , est appelée l' écart de Jensen . ${\displaystyle \operatorname {E} \left[\varphi (X)\right]-\varphi \left(\operatorname {E} [X]\right)}$

Déclarations

La forme classique de l'inégalité de Jensen implique plusieurs nombres et poids. L'inégalité peut être énoncée de manière assez générale en utilisant soit le langage de la théorie de la mesure, soit (de manière équivalente) la probabilité. Dans le cadre probabiliste, l'inégalité peut encore être généralisée à sa pleine force .

Forme finie

Pour une fonction convexe réelle , des nombres dans son domaine et des poids positifs , l'inégalité de Jensen peut être énoncée comme suit : ${\displaystyle \varphi }$${\displaystyle x_{1},x_{2},\ldots ,x_{n}}$${\style d'affichage a_{i}}$

${\displaystyle \varphi \left({\frac {\sum a_{i}x_{i}}{\sum a_{i}}}\right)\leq {\frac {\sum (a_{i}\varphi (x_{i}))}{\somme a_{i}}}}$

( 1 )

et l'inégalité est inversée si est concave , ce qui est ${\displaystyle \varphi }$

${\displaystyle \varphi \left({\frac {\sum a_{i}x_{i}}{\sum a_{i}}}\right)\geq {\frac {\sum a_{i}\varphi ( x_{i})}{\somme a_{i}}}.}$

( 2 )

L'égalité est vraie si et seulement si ou est linéaire sur un domaine contenant . ${\displaystyle x_{1}=x_{2}=\cdots =x_{n}}$${\displaystyle \varphi }$${\displaystyle x_{1},x_{2},\cdots ,x_{n}}$

Comme cas particulier, si les poids sont tous égaux, alors ( 1 ) et ( 2 ) deviennent ${\style d'affichage a_{i}}$

${\displaystyle \varphi \left({\frac {\sum x_{i}}{n}}\right)\leq {\frac {\sum \varphi (x_{i})}{n}}}$

( 3 )

${\displaystyle \varphi \left({\frac {\sum x_{i}}{n}}\right)\geq {\frac {\sum \varphi (x_{i})}{n}}}$

( 4 )

Par exemple, la fonction log( x ) est concave , donc la substitution dans la formule précédente ( 4 ) établit le (logarithme de) l' inégalité arithmétique/moyenne géométrique familière : ${\displaystyle \varphi (x)=\log(x)}$

${\displaystyle \log \!\left({\frac {\sum _{i=1}^{n}x_{i}}{n}}\right)\geq {\frac {\sum _{i= 1}^{n}\log \!\left(x_{i}\right)}{n}}\quad {\text{ou}}\quad {\frac {x_{1}+x_{2}+ \cdots +x_{n}}{n}}\geq {\sqrt[{n}]{x_{1}\cdot x_{2}\cdots x_{n}}}}$

Une application courante a x en fonction d'une autre variable (ou ensemble de variables) t , c'est-à-dire . Tout ceci renvoie directement au cas général continu : les poids a _i sont remplacés par une fonction intégrable non négative f  ( x ) , telle qu'une distribution de probabilité, et les sommations sont remplacées par des intégrales. ${\style d'affichage x_{i}=g(t_{i})}$ 

Forme théorique de la mesure et probabiliste

Soit un espace de probabilité , c'est à dire . Si est une fonction à valeur réelle qui est - intégrable , et si est une fonction convexe sur la ligne réelle, alors : ${\style d'affichage (\Omega ,A,\mu )}$${\displaystyle \mu (\Omega )=1}$${\style d'affichage g}$${\style d'affichage \mu }$${\displaystyle \varphi }$

${\displaystyle \varphi \left(\int _{\Omega }g\,d\mu \right)\leq \int _{\Omega }\varphi \circ g\,d\mu .}$

Dans une analyse réelle, nous pouvons exiger une estimation sur

${\displaystyle \varphi \left(\int _{a}^{b}f(x)\,dx\right),}$

où , et est une fonction intégrable de Lebesgue non négative . Dans ce cas, la mesure de Lebesgue n'est pas nécessairement l'unité. Cependant, par intégration par substitution, l'intervalle peut être redimensionné pour qu'il ait une unité de mesure. Ensuite, l'inégalité de Jensen peut être appliquée pour obtenir ${\displaystyle a,b\in \mathbb {R} }$${\displaystyle f\colon [a,b]\to \mathbb {R} }$${\style d'affichage [a,b]}$

${\displaystyle \varphi \left({\frac {1}{ba}}\int _{a}^{b}f(x)\,dx\right)\leq {\frac {1}{ba}} \int _{a}^{b}\varphi (f(x))\,dx.}$

Le même résultat peut être énoncé de manière équivalente dans un cadre de théorie des probabilités , par un simple changement de notation. Soient un espace de probabilité , X une variable aléatoire à valeur réelle intégrable et φ une fonction convexe . Puis: ${\displaystyle (\Omega ,{\mathfrak {F}},\operatorname {P} )}$

${\displaystyle \varphi \left(\operatorname {E} [X]\right)\leq \operatorname {E} \left[\varphi (X)\right].}$

Dans ce paramètre de probabilité, la mesure μ est conçue comme une probabilité , l'intégrale par rapport à u comme valeur attendue , et la fonction comme une variable aléatoire X . ${\displaystyle \operatorname {P} }$ ${\displaystyle \operatorname {E} }$${\style d'affichage g}$

Notez que l'égalité est vraie si et seulement si φ est une fonction linéaire sur un ensemble convexe tel que (ce qui suit en inspectant la preuve théorique de la mesure ci-dessous). ${\style d'affichage A}$${\displaystyle \mathrm {P} (X\en A)=1}$

Inégalité générale dans un cadre probabiliste

Plus généralement, soit T un espace vectoriel topologique réel , et X une variable aléatoire intégrable de valeur T. Dans ce cadre général, intégrable signifie qu'il existe un élément dans T , tel que pour tout élément z dans l' espace dual de T : , et . Alors, pour toute fonction convexe mesurable φ et toute sous --algèbre de : ${\displaystyle \operatorname {E} [X]}$${\displaystyle \operatorname {E} |\langle z,X\rangle |<\infty }$${\displaystyle \langle z,\operatorname {E} [X]\rangle =\operatorname {E} [\langle z,X\rangle ]}$ ${\displaystyle {\mathfrak {G}}}$${\displaystyle {\mathfrak {F}}}$

${\displaystyle \varphi \left(\operatorname {E} \left[X\mid {\mathfrak {G}}\right]\right)\leq \operatorname {E} \left[\varphi (X)\mid { \mathfrak {G}}\right].}$

Ici représente l' espérance conditionnée à la -algèbre . Cette déclaration générale réduit aux précédentes lorsque l'espace vectoriel topologique T est l' axe réel , et est le trivial σ -algèbre {∅, Ω} (où ∅ est l' ensemble vide et Ω est l' espace de l' échantillon ). ${\displaystyle \operatorname {E} [\cdot \mid {\mathfrak {G}}]}$${\displaystyle {\mathfrak {G}}}$${\displaystyle {\mathfrak {G}}}$

Une forme affûtée et généralisée

Soit X une variable aléatoire unidimensionnelle de moyenne et de variance . Soit une fonction deux fois dérivable, et définissons la fonction ${\style d'affichage \mu }$${\displaystyle \sigma ^{2}\geq 0}$${\style d'affichage \varphi (x)}$

${\displaystyle h(x)\triangleq {\frac {\varphi \left(x\right)-\varphi \left(\mu \right)}{\left(x-\mu \right)^{2}} }-{\frac {\varphi '\left(\mu \right)}{x-\mu }}.}$

Puis

${\displaystyle \sigma ^{2}\inf {\frac {\varphi ''(x)}{2}}\leq \sigma ^{2}\inf h(x)\leq E\left[\varphi \ left(X\right)\right]-\varphi \left(E[X]\right)\leq \sigma ^{2}\sup h(x)\leq \sigma ^{2}\sup {\frac { \varphi ''(x)}{2}}.}$

En particulier, quand est convexe, alors , et la forme standard de l'inégalité de Jensen suit immédiatement pour le cas où est en outre supposé être deux fois différentiable. ${\style d'affichage \varphi (x)}$${\displaystyle \varphi ''(x)\geq 0}$${\style d'affichage \varphi (x)}$

Preuves

Une "preuve" graphique de l'inégalité de Jensen pour le cas probabiliste. La courbe en pointillés le long de l' axe X est la distribution hypothétique de X , tandis que la courbe en pointillés le long de l' axe Y est la distribution correspondante des valeurs Y. Notez que le mappage convexe Y ( X ) " étire " de plus en plus la distribution pour des valeurs croissantes de X .

Ceci est une preuve sans mots de l'inégalité de Jensen pour n variables. Sans perte de généralité, la somme des poids positifs est de 1 . Il s'ensuit que le point pondéré se trouve dans l'enveloppe convexe des points d'origine, qui se situe au-dessus de la fonction elle-même par la définition de la convexité. La conclusion suit.

L'inégalité de Jensen peut être prouvée de plusieurs manières, et trois preuves différentes correspondant aux différentes déclarations ci-dessus seront proposées. Avant de se lancer dans ces dérivations mathématiques, cependant, il convient d'analyser un argument graphique intuitif basé sur le cas probabiliste où X est un nombre réel (voir figure). En supposant une distribution hypothétique des valeurs X , on peut immédiatement identifier la position de et son image dans le graphique. En remarquant que pour convexe mappages Y = φ ( X ) la distribution correspondante de Y valeurs est de plus en plus « tendu » pour des valeurs croissantes de X , il est facile de voir que la distribution des Y est plus large dans l'intervalle correspondant à X > X ₀ et plus étroit en X < X ₀ pour tout X ₀ ; en particulier, cela est également vrai pour . Par conséquent, dans cette image, l'espérance de Y se déplacera toujours vers le haut par rapport à la position de . Un raisonnement similaire est valable si la distribution de X couvre une partie décroissante de la fonction convexe, ou à la fois une partie décroissante et une partie croissante de celle-ci. Cela « prouve » l'inégalité, c'est-à-dire ${\displaystyle \operatorname {E} [X]}$${\displaystyle \varphi (\operatorname {E} [X])}$${\displaystyle X_{0}=\operatorname {E} [X]}$${\displaystyle \varphi (\operatorname {E} [X])}$

${\displaystyle \varphi (\operatorname {E} [X])\leq \operatorname {E} [\varphi (X)]=\operatorname {E} [Y],}$

avec égalité lorsque φ ( X ) n'est pas strictement convexe, par exemple lorsqu'il s'agit d'une droite, ou lorsque X suit une distribution dégénérée (ie est une constante).

Les preuves ci-dessous formalisent cette notion intuitive.

Preuve 1 (forme finie)

Si λ ₁ et λ ₂ sont deux nombres réels arbitraires non négatifs de telle sorte que λ ₁ + λ ₂ = 1 alors convexité de φ implique

${\displaystyle \forall x_{1},x_{2}:\qquad \varphi \left(\lambda _{1}x_{1}+\lambda _{2}x_{2}\right)\leq \lambda _{1}\,\varphi (x_{1})+\lambda _{2}\,\varphi (x_{2}).}$

Ceci peut être généralisé : si λ ₁ , ..., λ _n sont des nombres réels non négatifs tels que λ ₁ + ... + λ _n = 1 , alors

${\displaystyle \varphi (\lambda _{1}x_{1}+\lambda _{2}x_{2}+\cdots +\lambda _{n}x_{n})\leq \lambda _{1} \,\varphi (x_{1})+\lambda _{2}\,\varphi (x_{2})+\cdots +\lambda _{n}\,\varphi (x_{n}),}$

pour tout x ₁ , ..., x _n .

La forme finie de l'inégalité de Jensen peut être prouvée par induction : par des hypothèses de convexité, l'énoncé est vrai pour n  = 2. Supposons que l'énoncé soit vrai pour un certain n , donc

${\displaystyle \varphi \left(\sum _{i=1}^{n}\lambda _{i}x_{i}\right)\leq \sum _{i=1}^{n}\lambda _ {i}\varphi \gauche(x_{i}\droit)}$

pour tout λ ₁ , ..., λ _n tel que λ ₁ + ... + λ _n = 1 .

Il faut le prouver pour n + 1 . Au moins un des λ _i est strictement plus petit que , disons λ _{n +1} ; donc par inégalité de convexité : ${\style d'affichage 1}$

${\displaystyle {\begin{aligned}\varphi \left(\sum _{i=1}^{n+1}\lambda _{i}x_{i}\right)&=\varphi \left((1 -\lambda _{n+1})\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}x_{i} +\lambda _{n+1}x_{n+1}\right)\\&\leq (1-\lambda _{n+1})\varphi \left(\sum _{i=1}^{ n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}x_{i}\right)+\lambda _{n+1}\,\varphi (x_{n +1}).\end{aligned}}}$

Puisque λ ₁ + ... + λ _n + λ _{n +1} = 1 ,

${\displaystyle \sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}=1}$,

l'application de l'hypothèse d'induction donne

${\displaystyle \varphi \left(\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}x_{i}\right )\leq \sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}\varphi (x_{i})}$

donc

${\displaystyle {\begin{aligned}\varphi \left(\sum _{i=1}^{n+1}\lambda _{i}x_{i}\right)&\leq (1-\lambda _ {n+1})\sum _{i=1}^{n}{\frac {\lambda _{i}}{1-\lambda _{n+1}}}\varphi (x_{i}) +\lambda _{n+1}\,\varphi (x_{n+1})=\somme _{i=1}^{n+1}\lambda _{i}\varphi (x_{i}) \end{aligné}}}$

On en déduit que l'égalité est vraie pour n + 1 , par le principe d'induction mathématique il s'ensuit que le résultat est également vrai pour tout entier n supérieur à 2.

Afin d'obtenir l'inégalité générale à partir de cette forme finie, il faut utiliser un argument de densité. La forme finie peut être réécrite comme :

${\displaystyle \varphi \left(\int x\,d\mu _{n}(x)\right)\leq \int \varphi (x)\,d\mu _{n}(x),}$

où μ _n est une mesure donnée par une combinaison convexe arbitraire de deltas de Dirac :

${\displaystyle \mu _{n}=\sum _{i=1}^{n}\lambda _{i}\delta _{x_{i}}.}$

Étant donné que les fonctions convexes sont continues et que les combinaisons convexes de deltas de Dirac sont faiblement denses dans l'ensemble des mesures de probabilité (comme cela pourrait être facilement vérifié), l'énoncé général est obtenu simplement par une procédure de limitation.

Preuve 2 (forme théorique de la mesure)

Soit g une fonction -intégrable à valeur réelle sur un espace de probabilité Ω, et soit φ une fonction convexe sur les nombres réels. Puisque φ est convexe, à chaque nombre réel x nous avons un ensemble non vide de subderivatives , qui peuvent être considérés comme des lignes touchant le graphe de φ à x , mais qui sont au niveau ou en dessous du graphique de φ à tous les points (lignes de soutien de le graphique).

Maintenant, si nous définissons

${\displaystyle x_{0}:=\int _{\Omega }g\,d\mu ,}$

en raison de l'existence de sous-dérivées pour les fonctions convexes, on peut choisir a et b tels que

${\displaystyle hache+b\leq \varphi (x),}$

pour tout réel x et

${\displaystyle ax_{0}+b=\varphi (x_{0}).}$

Mais alors on a ça

${\displaystyle \varphi \circ g(x)\geq ag(x)+b}$

pour tout x . Puisque nous avons une mesure de probabilité, l'intégrale est monotone avec μ (Ω) = 1 de sorte que

${\displaystyle \int _{\Omega }\varphi \circ g\,d\mu \geq \int _{\Omega }(ag+b)\,d\mu =a\int _{\Omega }g\ ,d\mu +b\int _{\Omega }d\mu =ax_{0}+b=\varphi (x_{0})=\varphi \left(\int _{\Omega }g\,d\ mu \droit),}$

comme voulu.

Preuve 3 (inégalité générale dans un cadre probabiliste)

Soit X une variable aléatoire intégrable qui prend des valeurs dans un espace vectoriel topologique réel T . Puisque est convexe, pour tout , la quantité ${\displaystyle \varphi :T\to \mathbb {R} }$${\style d'affichage x,y\dans T}$

${\displaystyle {\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }},}$

est décroissant lorsque θ tend vers 0 ⁺ . En particulier, le sous- différentiel de évalué en x dans la direction y est bien défini par ${\displaystyle \varphi }$

${\displaystyle (D\varphi )(x)\cdot y:=\lim _{\theta \downarrow 0}{\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }}=\inf _{\theta \neq 0}{\frac {\varphi (x+\theta \,y)-\varphi (x)}{\theta }}.}$

On voit facilement que la sous-différentielle est linéaire en y (c'est faux et l'assertion nécessite de prouver le théorème de Hahn-Banach) et, puisque l'infimum pris dans la partie droite de la formule précédente est plus petit que la valeur de la même terme pour θ = 1 , on obtient

${\displaystyle \varphi (x)\leq \varphi (x+y)-(D\varphi )(x)\cdot y.}$

En particulier, pour une sous- σ -algèbre arbitraire, nous pouvons évaluer la dernière inégalité quand obtenir ${\displaystyle {\mathfrak {G}}}$${\displaystyle x=\operatorname {E} [X\mid {\mathfrak {G}}],\,y=X-\operatorname {E} [X\mid {\mathfrak {G}}]}$

${\displaystyle \varphi (\operatorname {E} [X\mid {\mathfrak {G}}])\leq \varphi (X)-(D\varphi )(\operatorname {E} [X\mid {\mathfrak {G}}])\cdot (X-\operatorname {E} [X\mid {\mathfrak {G}}]).}$

Maintenant, si nous prenons l'espérance conditionnée aux deux côtés de l'expression précédente, nous obtenons le résultat puisque : ${\displaystyle {\mathfrak {G}}}$

${\displaystyle \operatorname {E} \left[\left[(D\varphi )(\operatorname {E} [X\mid {\mathfrak {G}}])\cdot (X-\operatorname {E} [X \mid {\mathfrak {G}}])\right]\mid {\mathfrak {G}}\right]=(D\varphi )(\operatorname {E} [X\mid {\mathfrak {G}}] )\cdot \operatorname {E} [\left(X-\operatorname {E} [X\mid {\mathfrak {G}}]\right)\mid {\mathfrak {G}}]=0,}$

par la linéarité de la sous-différentielle dans la variable y , et la propriété bien connue suivante de l' espérance conditionnelle :

${\displaystyle \operatorname {E} \left[\left(\operatorname {E} [X\mid {\mathfrak {G}}]\right)\mid {\mathfrak {G}}\right]=\operatorname { E} [X\mid {\mathfrak {G}}].}$

Applications et cas particuliers

Forme impliquant une fonction de densité de probabilité

Supposons que Ω est un sous - ensemble mesurable de la ligne réelle et f ( x ) est une fonction non négative de telle sorte que

${\displaystyle \int _{-\infty }^{\infty }f(x)\,dx=1.}$

En langage probabiliste, f est une fonction de densité de probabilité .

Alors l'inégalité de Jensen devient l'énoncé suivant sur les intégrales convexes :

Si g est une fonction mesurable à valeur réelle et est convexe sur la plage de g , alors ${\textstyle \varphi }$

${\displaystyle \varphi \left(\int _{-\infty }^{\infty }g(x)f(x)\,dx\right)\leq \int _{-\infty }^{\infty } \varphi (g(x))f(x)\,dx.}$

Si g ( x ) = x , alors cette forme de l'inégalité se réduit à un cas particulier couramment utilisé :

${\displaystyle \varphi \left(\int _{-\infty }^{\infty }x\,f(x)\,dx\right)\leq \int _{-\infty }^{\infty }\ varphi (x)\,f(x)\,dx.}$

Ceci est appliqué dans les méthodes bayésiennes variationnelles .

Exemple : moments pairs d'une variable aléatoire

Si g ( x ) = x ²ⁿ , et X est une variable aléatoire, alors g est convexe comme

${\displaystyle {\frac {d^{2}g}{dx^{2}}}(x)=2n(2n-1)x^{2n-2}\geq 0\quad \forall \ x\in \mathbb {R} }$

et donc

${\displaystyle g(\operatorname {E} [X])=(\operatorname {E} [X])^{2n}\leq \operatorname {E} [X^{2n}].}$

En particulier, si un moment pair 2n de X est fini, X a une moyenne finie. Une extension de cet argument montre que X a des moments finis de tout ordre divisant n . ${\displaystyle l\in \mathbb {N} }$

Forme finie alternative

Laissez Ω = { x ₁ , ... x _n }, et prendre μ être la mesure de comptage sur Ω , la forme générale se réduit à une déclaration au sujet des sommes:

${\displaystyle \varphi \left(\sum _{i=1}^{n}g(x_{i})\lambda _{i}\right)\leq \sum _{i=1}^{n} \varphi (g(x_{i}))\lambda _{i},}$

à condition que λ _i ≥ 0 et

${\displaystyle \lambda _{1}+\cdots +\lambda _{n}=1.}$

Il existe aussi une forme discrète infinie.

Physique statistique

L'inégalité de Jensen est d'une importance particulière en physique statistique lorsque la fonction convexe est une exponentielle, donnant :

${\displaystyle e^{\operatorname {E} [X]}\leq \operatorname {E} \left[e^{X}\right],}$

où les valeurs attendues sont par rapport à une distribution de probabilité dans la variable aléatoire X .

La preuve dans ce cas est très simple (cf. Chandler, Sec. 5.5). L'inégalité recherchée suit directement, en écrivant

${\displaystyle \operatorname {E} \left[e^{X}\right]=e^{\operatorname {E} [X]}\operatorname {E} \left[e^{X-\operatorname {E} [X]}\droit]}$

puis en appliquant l'inégalité e ^X 1 + X à l'exponentielle finale.

Théorie de l'information

Si p ( x ) est la densité réelle de probabilité de X , et q ( x ) est une autre densité, puis en appliquant l'inégalité de Jensen pour la variable aléatoire Y ( X ) = q ( X ) / p ( X ) et la fonction convexe φ ( y ) = −log( y ) donne

${\displaystyle \operatorname {E} [\varphi (Y)]\geq \varphi (\operatorname {E} [Y])}$

Par conséquent:

${\displaystyle -D(p(x)\|q(x))=\int p(x)\log \left({\frac {q(x)}{p(x)}}\right)\, dx\leq \log \left(\int p(x){\frac {q(x)}{p(x)}}\,dx\right)=\log \left(\int q(x)\, dx\droit)=0}$

un résultat appelé inégalité de Gibbs .

Il montre que la longueur moyenne des messages est minimisée lorsque les codes sont attribués sur la base des vraies probabilités p plutôt que sur toute autre distribution q . La quantité non négative est appelée divergence de Kullback-Leibler de q à partir de p .

Puisque −log( x ) est une fonction strictement convexe pour x > 0 , il s'ensuit que l'égalité est vérifiée lorsque p ( x ) est égal à q ( x ) presque partout.

Théorème de Rao-Blackwell

Si L est une fonction convexe et une sous-sigma-algèbre, alors, à partir de la version conditionnelle de l'inégalité de Jensen, on obtient ${\displaystyle {\mathfrak {G}}}$

${\displaystyle L(\operatorname {E} [\delta (X)\mid {\mathfrak {G}}])\leq \operatorname {E} [L(\delta (X))\mid {\mathfrak {G }}]\quad \Longrightarrow \quad \operatorname {E} [L(\operatorname {E} [\delta (X)\mid {\mathfrak {G}}])]\leq \operatorname {E} [L( \delta (X))].}$

Donc si δ( X ) est un estimateur d'un paramètre non observé θ étant donné un vecteur d'observables X ; et si T ( X ) est une statistique suffisante pour θ ; alors un estimateur amélioré, dans le sens d'avoir une plus petite perte attendue L , peut être obtenu en calculant

${\displaystyle \delta _{1}(X)=\operatorname {E} _{\theta }[\delta (X')\mid T(X')=T(X)],}$

la valeur attendue de par rapport à , prise sur tous les vecteurs possibles d'observations X compatibles avec la même valeur de T ( X ) que celle observée. De plus, parce que T est une statistique suffisante, ne dépend pas de , devient donc une statistique. ${\displaystyle \delta _{1}(X)}$

Ce résultat est connu sous le nom de théorème de Rao-Blackwell .

Voir également

• L'inégalité de Karamata pour une inégalité plus générale
• L'inégalité de Popoviciu
• Loi des probabilités
• Une preuve sans mots de l'inégalité de Jensen

Remarques

Les références

• David Chandler (1987). Introduction à la mécanique statistique moderne . Oxford. ISBN 0-19-504277-8.
• Tristan Needham (1993) « Une explication visuelle de l'inégalité de Jensen », American Mathematical Monthly 100 (8) : 768-71.
• Nicola Fusco ; Paul Marcellini ; Carlo Sbordone (1996). Analisi Matematica Due . Liguori. ISBN 978-88-207-2675-1.
• Walter Rudin (1987). Analyse réelle et complexe . McGraw-Hill. ISBN 0-07-054234-1.
• Rick Durrett (2019). Probabilité : Théorie et exemples (5e éd.). La presse de l'Universite de Cambridge. p. 430. ISBN 978-1108473682. Récupéré le 21 décembre 2020 .

Liens externes

• L'inégalité des opérateurs de Jensen entre Hansen et Pedersen.
• "Inégalité de Jensen" , Encyclopédie des mathématiques , EMS Press , 2001 [1994]
• Weisstein, Eric W. "Inégalité de Jensen" . MathWorld .
• Arthur Lohwater (1982). "Introduction aux inégalités" . E-book en ligne au format PDF.