Clase de métodos de codificación sin pérdida que asignan palabras de código de diferentes longitudes a símbolos de la fuente según sus probabilidades estimadas para reducir la longitud media del código; incluye códigos prefijos (p. ej. Huffman), codificación aritmética/de rango y sus variantes prácticas, y presupone un modelo probabilístico explícito o implícito de ocurrencia de símbolos.

Principio

Los símbolos frecuentes deben recibir representaciones más cortas para reducir la longitud media; con un modelo probabilístico preciso, la longitud media esperada puede aproximarse a la entropía de la fuente, y la ineficiencia proviene del desajuste de modelo o de restricciones de codificación finita.

Demostración

Situación: Fuente discreta con p(a)=0,5, p(b)=0,25, p(c)=0,25. Reconocimiento: las probabilidades difieren. Acción: construir un código prefijo (por ejemplo, asignar a 'a' una palabra de código más corta que a 'b' y 'c') o usar codificación aritmética para secuencias largas. Consecuencia: los bits medios por símbolo caen por debajo de la codificación de longitud fija y se acercan a la entropía a medida que aumenta la longitud de bloque o la precisión del modelo.

Aplicación incorrecta

Aplicar codificación entrópica a datos sin un modelo de símbolos apropiado (p. ej. suponer i.i.d. cuando existen fuertes dependencias contextuales) conduce a sobreestimar la compresión y a no explotar la estructura condicional; el error es confundir la codificación según frecuencia de símbolos con la modelización eficaz de dependencias.

Consecuencia

La codificación entrópica reduce la tasa media en una representación sin pérdida, pero es sensible a la calidad del modelo, añade estado y latencia al codificador/decodificador (especialmente en codificación aritmética) y puede ser vulnerable a la propagación de errores si no se emplea una segmentación o protección adecuada.

Inversión

Cuando las probabilidades de símbolo son desconocidas y los datos son extremadamente cortos, los esquemas universales fija‑a‑variable pueden ser menos eficaces que representaciones de longitud fija; en canales de baja latencia o propensos a errores, a veces se prefieren códigos más simples aunque menos eficientes.

Límite

Claramente dentro: Huffman y codificación aritmética aplicadas a un flujo de símbolos discretos modelado. Caso límite: codificación entrópica tras cuantización con pérdida — la codificación entrópica sigue siendo sin pérdida sobre los símbolos cuantizados, pero la compresión total depende de pasos previos con pérdida. Claramente fuera: diseño de transformadas, codificación de canal u optimización perceptual con pérdida.

Tensión semántica

Optimalidad de compresión (acercarse a la entropía) ↔ complejidad, latencia y robustez del codificador/decodificador.

Síntesis

La codificación entrópica es la etapa sin pérdida que convierte un modelo estadístico en ahorros a nivel de bits; su efectividad depende tanto del modelo de probabilidad subyacente como del algoritmo de codificación empleado.