## [Codificación Entrópica](/es/node/71740) Definición Clase de métodos de codificación sin pérdida que asignan palabras de código de diferentes longitudes a símbolos de la fuente según sus probabilidades estimadas para reducir la longitud media del código; incluye códigos prefijos (p. ej. Huffman), codificación aritmética/de rango y sus variantes prácticas, y presupone un modelo probabilístico explícito o implícito de ocurrencia de símbolos. ## Principio Principio Los símbolos frecuentes deben recibir representaciones más cortas para reducir la longitud media; con un modelo probabilístico preciso, la longitud media esperada puede aproximarse a la entropía de la fuente, y la ineficiencia proviene del desajuste de modelo o de restricciones de codificación finita. ## Demostración Demostración Situación: Fuente discreta con p(a)=0,5, p(b)=0,25, p(c)=0,25. Reconocimiento: las probabilidades difieren. Acción: construir un código prefijo (por ejemplo, asignar a 'a' una palabra de código más corta que a 'b' y 'c') o usar codificación aritmética para secuencias largas. Consecuencia: los bits medios por símbolo caen por debajo de la codificación de longitud fija y se acercan a la entropía a medida que aumenta la longitud de bloque o la precisión del modelo. ## Aplicación incorrecta Aplicación incorrecta Aplicar codificación entrópica a datos sin un modelo de símbolos apropiado (p. ej. suponer i.i.d. cuando existen fuertes dependencias contextuales) conduce a sobreestimar la compresión y a no explotar la estructura condicional; el error es confundir la codificación según frecuencia de símbolos con la modelización eficaz de dependencias. ## Consecuencia Consecuencia La codificación entrópica reduce la tasa media en una representación sin pérdida, pero es sensible a la calidad del modelo, añade estado y latencia al codificador/decodificador (especialmente en codificación aritmética) y puede ser vulnerable a la propagación de errores si no se emplea una segmentación o protección adecuada. ## Inversión Inversión Cuando las probabilidades de símbolo son desconocidas y los datos son extremadamente cortos, los esquemas universales fija‑a‑variable pueden ser menos eficaces que representaciones de longitud fija; en canales de baja latencia o propensos a errores, a veces se prefieren códigos más simples aunque menos eficientes. ## Límite Límite Claramente dentro: Huffman y codificación aritmética aplicadas a un flujo de símbolos discretos modelado. Caso límite: codificación entrópica tras cuantización con pérdida — la codificación entrópica sigue siendo sin pérdida sobre los símbolos cuantizados, pero la compresión total depende de pasos previos con pérdida. Claramente fuera: diseño de transformadas, codificación de canal u optimización perceptual con pérdida. ## Tensión semántica Tensión semántica Optimalidad de compresión (acercarse a la entropía) ↔ complejidad, latencia y robustez del codificador/decodificador. ## Síntesis Síntesis La codificación entrópica es la etapa sin pérdida que convierte un modelo estadístico en ahorros a nivel de bits; su efectividad depende tanto del modelo de probabilidad subyacente como del algoritmo de codificación empleado.