Taux d'entropie - Entropy rate

Théorie de l'information
Entropie Entropie différentielle Entropie conditionnelle Entropie articulaire Information mutuelle Information mutuelle conditionnelle Entropie relative Taux d'entropie Limiter la densité des points discrets
Propriété d'équipartition asymptotique Théorie taux-distorsion
Théorème de codage source de Shannon Capacité de canal Théorème de codage de canal bruyant Théorème de Shannon – Hartley
v t e

Dans la théorie mathématique des probabilités , le taux d'entropie ou le taux d'information source d'un processus stochastique est, de manière informelle, la densité temporelle de l'information moyenne dans un processus stochastique. Pour les processus stochastiques avec un indice dénombrable , le taux d' entropie est la limite de l' entropie conjointe des membres du processus divisée par , comme tend vers l' infini : ${\ displaystyle H (X)}$${\ displaystyle n}$${\ displaystyle X_ {k}}$${\ displaystyle n}$${\ displaystyle n}$

${\ displaystyle H (X) = \ lim _ {n \ to \ infty} {\ frac {1} {n}} H (X_ {1}, X_ {2}, \ dots X_ {n})}$

lorsque la limite existe. Une autre quantité associée est:

${\ displaystyle H '(X) = \ lim _ {n \ to \ infty} H (X_ {n} | X_ {n-1}, X_ {n-2}, \ dots X_ {1})}$

Pour fortement stationnaires processus stochastiques, . Le taux d'entropie peut être considéré comme une propriété générale des sources stochastiques; c'est la propriété d'équipartition asymptotique . Le taux d'entropie peut être utilisé pour estimer la complexité des processus stochastiques. Il est utilisé dans diverses applications allant de la caractérisation de la complexité des langages, de la séparation aveugle des sources, à l'optimisation des quantificateurs et des algorithmes de compression de données. Par exemple, un critère de taux d'entropie maximal peut être utilisé pour la sélection de caractéristiques dans l'apprentissage automatique . ${\ Displaystyle H (X) = H '(X)}$

Taux d'entropie des chaînes de Markov

Depuis un processus stochastique défini par une chaîne de Markov qui est irréductible , apériodique et récurrente positive a une distribution stationnaire , le taux d' entropie est indépendante de la distribution initiale.

Par exemple, pour une telle chaîne de Markov définie sur un nombre dénombrable d'états, étant donné la matrice de transition , est donnée par: ${\ displaystyle Y_ {k}}$ ${\ displaystyle P_ {ij}}$${\ displaystyle H (Y)}$

${\ displaystyle \ displaystyle H (Y) = - \ sum _ {ij} \ mu _ {i} P_ {ij} \ log P_ {ij}}$

où est la distribution asymptotique de la chaîne. ${\ displaystyle \ mu _ {i}}$

Une conséquence simple de cette définition est qu'un processus stochastique iid a un taux d'entropie qui est le même que l' entropie de n'importe quel membre individuel du processus.

Voir également

• Source d'information (mathématiques)
• Source d'information de Markov
• Propriété d'équipartition asymptotique
• Marche aléatoire d'entropie maximale - choisie pour maximiser le taux d'entropie

Les références

• Cover, T. et Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN  0-471-06259-6 [1]