Para un proceso estocástico discreto, estacionario y ergódico {X_i} sobre un alfabeto finito con medida de probabilidad P, el logaritmo normalizado de la probabilidad de realizaciones de longitud n converge casi seguro hacia la tasa de entropía H: lim_{n→∞} -(1/n) log P(X1..Xn) = H. Esta es la forma de la propiedad de equipartición asintótica para fuentes estacionarias ergódicas.

Principio

Las secuencias largas de una fuente estacionaria ergódica concentran la probabilidad en un conjunto de aproximadamente 2^{nH} secuencias típicas; en el límite n→∞ la descripción probabilística se reemplaza por un conteo combinatorio.

Demostración

Escenario ilustrativo → Una fuente emite símbolos según una ley estacionaria ergódica. Para n grande, un codificador basado en el conjunto típico codifica solo las secuencias típicas (tamaño ≈2^{nH}), usando ≈nH bits, y las secuencias atípicas tienen probabilidad total que tiende a cero. Consecuencia → la longitud media por símbolo tiende asintóticamente a H.

Aplicación incorrecta

Aplicar el teorema a procesos no estacionarios o no ergódicos (por ejemplo, un proceso que alterna entre distribuciones) y esperar convergencia casi segura a una única tasa de entropía; el error es suponer que se cumplen las hipótesis de estacionariedad y ergodicidad.

Consecuencia

Justifica formalmente la compresión sin pérdida a tasas cercanas a la entropía y sustenta los métodos del conjunto típico en teoría de la información; transforma afirmaciones probabilísticas sobre secuencias en afirmaciones de conteo asintótico usadas en pruebas de codificación.

Inversión

Si falta la estacionariedad o la ergodicidad, los puntos límite de -(1/n)log P(X1..Xn) pueden depender de la realización o de la componente ergódica (no existe un único límite casi seguro); para alfabetos continuos se requieren versiones en densidad y precauciones con la entropía diferencial.

Límite

Claramente dentro → procesos discretos estacionarios ergódicos con alfabeto finito y tasa de entropía bien definida. Caso límite → procesos estacionarios pero no ergódicos donde la convergencia es condicional a las componentes ergódicas. Claramente fuera → procesos no estacionarios cuyas leyes cambian en el tiempo o modelos sin medida dominante adecuada.

Tensión semántica

Convergencia asintótica casi segura ↔ garantías de rendimiento para bloques finitos: el teorema establece tipicidad asintótica pero no proporciona cotas finitas en n necesarias para codificación práctica de longitud limitada.

Síntesis

El teorema convierte la descripción probabilística de una fuente en un recuento efectivo de secuencias típicas (≈2^{nH}), haciendo la entropía operativa para compresión. Su uso práctico exige atención a las hipótesis (estacionariedad/ergodicidad) y a la naturaleza asintótica del resultado.