Le théorème de De Finetti - De Finetti's theorem
En théorie des probabilités , le théorème de de Finetti stipule que les observations échangeables positivement corrélées sont conditionnellement indépendantes par rapport à une variable latente . Une distribution de probabilité épistémique pourrait alors être attribuée à cette variable. Il est nommé en l'honneur de Bruno de Finetti .
Pour le cas particulier d'une séquence échangeable de variables aléatoires de Bernoulli , il est indiqué qu'une telle séquence est un « mélange » de séquences de variables aléatoires de Bernoulli indépendantes et identiquement distribuées (iid).
Une séquence de variables aléatoires est dite échangeable si la distribution conjointe de la séquence est inchangée par toute permutation des indices. Alors que les variables de la séquence échangeable ne sont pas elles-mêmes indépendantes, seulement échangeables, il existe une famille sous-jacente de variables aléatoires iid. C'est-à-dire qu'il existe des quantités sous-jacentes, généralement inobservables, qui sont iid – les séquences échangeables sont des mélanges de séquences iid.
Arrière-plan
Un statisticien bayésien cherche souvent la distribution de probabilité conditionnelle d'une quantité aléatoire étant donné les données. Le concept d' échangeabilité a été introduit par de Finetti. Le théorème de De Finetti explique une relation mathématique entre l'indépendance et l'échangeabilité.
Une séquence infinie
de variables aléatoires est dit échangeable si pour tout nombre naturel n et deux quelconques séquences finies i 1 , ..., i n et j 1 , ..., j n (avec chacun des i s distinct, et chacun des les j s distincts), les deux séquences
les deux ont la même distribution de probabilité conjointe .
Si une séquence identiquement distribuée est indépendante , alors la séquence est échangeable ; cependant, l'inverse est faux : il existe des variables aléatoires échangeables qui ne sont pas statistiquement indépendantes, par exemple le modèle d'urne Pólya .
Énoncé du théorème
Une variable aléatoire X a une loi de Bernoulli si Pr( X = 1) = p et Pr( X = 0) = 1 − p pour un certain p ∈ (0, 1).
Le théorème de De Finetti stipule que la distribution de probabilité de toute séquence échangeable infinie de variables aléatoires de Bernoulli est un « mélange » des distributions de probabilité de séquences indépendantes et identiquement distribuées de variables aléatoires de Bernoulli. "Mélange", dans ce sens, signifie une moyenne pondérée, mais cela ne signifie pas nécessairement une moyenne pondérée finie ou dénombrable infinie (c'est-à-dire discrète) : il peut s'agir d'une intégrale plutôt que d'une somme .
Plus précisément, supposons que X 1 , X 2 , X 3 , ... est une suite échangeable infinie de variables aléatoires à distribution de Bernoulli. Alors il y a une distribution de probabilité m sur l'intervalle [0, 1] et une variable aléatoire Y telle que
- La distribution de probabilité de Y est m , et
- La distribution de probabilité conditionnelle de la séquence entière X 1 , X 2 , X 3 , ... étant donné la valeur de Y est décrite en disant que
- X 1 , X 2 , X 3 , ... sont conditionnellement indépendants étant donné Y , et
- Pour tout i ∈ {1, 2, 3, ...}, la probabilité conditionnelle que X i = 1, étant donné la valeur de Y , est Y .
Une autre façon d'énoncer le théorème
Supposons une séquence échangeable infinie de variables aléatoires de Bernoulli. Alors sont conditionnellement indépendants et identiquement distribués étant donné la sigma-algèbre échangeable (c'est -à- dire la sigma-algèbre des événements mesurables par rapport à et invariants sous des permutations finies des indices).
Exemple
Voici un exemple concret. On construit une suite
de variables aléatoires, en « mélangeant » deux séquences iid comme suit.
On suppose p = 2/3 avec probabilité 1/2 et p = 9/10 avec probabilité 1/2. Étant donné l'événement p = 2/3, la distribution conditionnelle de la séquence est que les X i sont indépendants et identiquement distribués et X 1 = 1 avec probabilité 2/3 et X 1 = 0 avec probabilité 1 − 2/3. Étant donné l'événement p = 9/10, la distribution conditionnelle de la séquence est que les X i sont indépendants et identiquement distribués et X 1 = 1 avec probabilité 9/10 et X 1 = 0 avec probabilité 1 − 9/10.
Cela peut être interprété comme suit : faites deux pièces de monnaie biaisées, l'une montrant "face" avec une probabilité de 2/3 et l'autre montrant "face" avec une probabilité de 9/10. Lancez une pièce équitable une fois pour décider quelle pièce biaisée utiliser pour tous les lancers enregistrés. Ici, "face" au flip i signifie X i =1.
L'indépendance affirmée ici est une indépendance conditionnelle , c'est-à-dire que les variables aléatoires de Bernoulli dans la séquence sont conditionnellement indépendantes étant donné l'événement p = 2/3, et sont conditionnellement indépendantes étant donné l'événement p = 9/10. Mais ils ne sont pas inconditionnellement indépendants ; ils sont positivement corrélés .
Au vu de la loi forte des grands nombres , on peut dire que
Plutôt que de concentrer la probabilité 1/2 à chacun des deux points entre 0 et 1, la "distribution de mélange" peut être n'importe quelle distribution de probabilité supportée sur l'intervalle de 0 à 1 ; laquelle dépend de la distribution conjointe de la suite infinie de variables aléatoires de Bernoulli.
La définition de l'échangeabilité, et l'énoncé du théorème, a également un sens pour les séquences de longueur finie
mais le théorème n'est généralement pas vrai dans ce cas. C'est vrai si la séquence peut être étendue à une séquence échangeable infiniment longue. L'exemple le plus simple d'une séquence échangeable de variables aléatoires de Bernoulli qui ne peut pas être ainsi étendue est celui dans lequel X 1 = 1 − X 2 et X 1 est soit 0 soit 1, chacun avec une probabilité 1/2. Cette séquence est échangeable, mais ne peut pas être étendue à une séquence échangeable de longueur 3, encore moins une infiniment longue.
Rallonges
Des versions du théorème de de Finetti pour les suites échangeables finies et pour les suites échangeables de Markov ont été prouvées par Diaconis et Freedman et par Kerns et Szekely. Deux notions d'échangeabilité partielle des tableaux, appelées échangeabilité séparée et conjointe, conduisent à des extensions du théorème de de Finetti pour les tableaux par Aldous et Hoover.
Le théorème calculable de Finetti montre que si une séquence échangeable de variables aléatoires réelles est donnée par un programme informatique, alors un programme qui échantillonne de la mesure de mélange peut être automatiquement récupéré.
Dans le cadre de la probabilité libre , il existe une extension non commutative du théorème de de Finetti qui caractérise les suites non commutatives invariantes sous permutations quantiques.
Les extensions du théorème de de Finetti aux états quantiques se sont avérées utiles dans l'information quantique , dans des sujets tels que la distribution de clés quantiques et la détection d' intrication .