Für einen diskreten, stationären und ergodischen stochastischen Prozess {X_i} über einem endlichen Alphabet mit Wahrscheinlichkeitsmaß P konvergiert der normalisierte Logarithmus der Wahrscheinlichkeit einer Länge-n-Ausprägung fast sicher gegen die Entropierate H: lim_{n→∞} -(1/n) log P(X1..Xn) = H. Dies ist die asymptotische Equipartitionseigenschaft für stationäre ergodische Quellen.

Prinzip

Lange Sequenzen einer stationären ergodischen Quelle konzentrieren ihre Wahrscheinlichkeit auf eine Menge von etwa 2^{nH} typischen Sequenzen; die probabilistische Beschreibung kann asymptotisch durch kombinatorische Zählung ersetzt werden.

Demonstration

Illustratives Szenario → Eine Quelle erzeugt Symbole nach einer stationären ergodischen Verteilung. Für großes n kodiert ein typischer-Mengen-Kodierer nur Sequenzen aus der typischen Menge (Größe ≈2^{nH}) und verwendet ≈nH Bits; die untypischen Sequenzen haben summierte Wahrscheinlichkeit, die gegen Null geht. Konsequenz → durchschnittliche Code­länge pro Symbol nähert sich asymptotisch H.

Fehlanwendung

Den Satz auf nichtstationäre oder nichtergodische Prozesse anwenden (z. B. Prozesse mit Verteilungswechsel) und eine fast sichere Konvergenz zu einer einzigen Entropierate erwarten; der Denkfehler ist das unbegründete Einsetzen der Ergoden-/Stationaritätsannahmen.

Konsequenz

Begründet formal die Quellcodierung nahe der Entropierate und ist Grundlage für typische-Mengen-Methoden in der Informationstheorie; es übersetzt probabilistische Aussagen über Sequenzen in asymptotische Zählaussagen, die in Codierungsbeweisen verwendet werden.

Umkehrung

Fehlen Stationarität oder Ergodenität, so können die Grenzpunkte von -(1/n)log P(X1..Xn) von der Realisierung oder der ergodischen Komponente abhängen (keine eindeutige fast sichere Grenze). Bei stetigen Alphabetsituationen ist eine dichtebasierte Formulierung mit Differenzialentropie nötig.

Abgrenzung

Klar innerhalb → diskrete stationäre ergodische Prozesse mit endlichem Alphabet und definierter Entropierate. Randfall → stationäre, nichtergodische Prozesse, bei denen Konvergenz nur bedingt auf ergodische Komponenten gilt. Klar außerhalb → nichtstationäre Prozesse oder Modelle ohne dominierende Maßdichte.

Semantische Spannung

Asymptotische fast-sichere Konvergenz ↔ Anforderungen an endliche Blocklängen: Der Satz liefert asymptotische Typikalität, aber keine exakten, praktischen Fehler- oder Redundanzabschätzungen für endliche n.

Synthese

Der Satz verbindet Wahrscheinlichkeitsbeschreibung und kombinatorische Zählung durch die Vorstellung ≈2^{nH} typischer Sequenzen. Er macht Entropie operationell relevant für Kompression und kodierungstheoretische Argumente, unterstreicht aber die asymptotische Natur und die Voraussetzungen Stationarität/Ergodizität.