Pour un processus stochastique discret stationnaire et ergodique {X_i} à alphabet fini et mesure de probabilité P, le logarithme normalisé de la vraisemblance des réalisations de longueur n converge presque sûrement vers le taux d'entropie H : lim_{n→∞} -(1/n) log P(X1..Xn) = H. Cette formulation exprime la propriété d'équipartition asymptotique pour les sources stationnaires ergodiques.

Principe

Les longues séquences produites par une source stationnaire et ergodique concentrent leur probabilité sur un ensemble d'environ 2^{nH} séquences typiques ; description probabiliste et comptage combinatoire deviennent interchangeables quand n→∞.

Démonstration

Scénario illustratif → Une source émet des symboles selon une loi stationnaire ergodique. Pour n grand, un codeur du type « ensemble typique » ne code que les séquences de l'ensemble typique de taille ≈2^{nH}, dépensant ≈nH bits, et néglige les séquences atypiques dont la probabilité totale tend vers zéro. Conséquence → la longueur moyenne par symbole tend vers H.

Mauvaise application

Appliquer le théorème à des processus non stationnaires ou non ergodiques (par exemple un processus alternant entre distributions) en attendant une convergence presque sûre vers un unique taux d'entropie ; l'erreur consiste à supposer que les conditions d'ergodicité et de stationnarité sont satisfaites.

Conséquence

Justifie formellement la compression sans perte proche du taux d'entropie et fonde les méthodes de l'ensemble typique en théorie de l'information ; il transforme des énoncés probabilistes sur les suites en énoncés de comptage asymptotique utilisés dans les preuves de codage.

Inversion

Si la stationnarité ou l'ergodicité fait défaut, les points limites de -(1/n)log P(X1..Xn) peuvent dépendre de la réalisation ou de la composante ergodique (pas de limite presque sûre unique) ; pour les alphabets continus l'énoncé nécessite des versions en densité et des précautions sur l'entropie différentielle.

Limite

Clairement dans → processus discrets stationnaires et ergodiques à alphabet fini avec taux d'entropie bien défini. Cas limite → processus stationnaires mais non ergodiques où la convergence n'est conditionnelle qu'aux composantes ergodiques. Claire­ment hors → processus non stationnaires dont la loi évolue dans le temps ou modèles sans mesure dominée appropriée.

Tension sémantique

Convergence asymptotique presque sûre ↔ garanties de performance pour blocs finis : le théorème établit la typicité asymptotique mais n'offre pas les bornes finies en n nécessaires pour la conception pratique de codes de longueur limitée.

Synthèse

Le théorème fait de l'entropie une quantité opérationnelle en remplaçant la description probabiliste d'une source par un compte effectif de suites typiques (≈2^{nH}). Il habilite les méthodes de compression asymptotiques tout en rappelant la dépendance aux hypothèses de stationnarité/ergodicité et la nature asymptotique du résultat.