Catégorie de méthodes de codage source sans perte qui attribuent des mots de code de longueurs variables aux symboles de la source en fonction de leurs probabilités estimées afin de réduire la longueur moyenne du code ; comprend les codes préfixes (par ex. Huffman), le codage arithmétique/de plage et leurs variantes pratiques, et suppose un modèle probabiliste explicite ou implicite des occurrences symboliques.

Principe

Les symboles fréquents doivent recevoir des représentations plus courtes pour réduire la longueur moyenne ; avec un modèle probabiliste précis, la longueur moyenne attendue peut s'approcher de l'entropie de la source, et l'inefficacité provient d'un mauvais modèle ou de contraintes de code de longueur finie.

Démonstration

Situation : source discrète avec p(a)=0,5, p(b)=0,25, p(c)=0,25. Reconnaissance : les probabilités diffèrent. Action : construire un code préfixe (par ex. attribuer à 'a' un mot de code plus court que 'b' et 'c') ou utiliser le codage arithmétique pour encoder de longues séquences. Conséquence : le nombre moyen de bits par symbole est inférieur au codage à longueur fixe et tend vers l'entropie lorsque la longueur de bloc ou la précision du modèle augmente.

Mauvaise application

Appliquer un codage entropique à des données sans modèle symbolique approprié (par exemple supposer des symboles i.i.d. alors qu'il existe de fortes dépendances contextuelles) conduit à surestimer la compression et à ne pas exploiter la structure conditionnelle ; l'erreur est de confondre le codage selon la fréquence des symboles avec la modélisation efficace des dépendances de la source.

Conséquence

Le codage entropique réduit le débit moyen pour une représentation sans perte mais est sensible à la qualité du modèle, ajoute de l'état et de la latence aux encodeur/décodeur (notamment pour le codage arithmétique) et peut être vulnérable à la propagation d'erreurs s'il est utilisé sans délimitation ou protection d'erreur appropriée.

Inversion

Lorsque les probabilités des symboles sont inconnues et que les données sont très courtes, les schémas universels fixe‑vers‑variable peuvent être moins efficaces que des représentations à longueur fixe simples ; dans certains cas de faible latence ou de canal sujet aux erreurs, on préfère des codes plus simples même s'ils sont légèrement moins efficaces.

Limite

Clairement dans : Huffman et codage arithmétique appliqués à un flux de symboles discrets modélisé. Cas limite : utilisation du codage entropique après une quantification avec perte — le codage entropique reste sans perte sur les symboles quantifiés mais la compression globale dépend des étapes avec perte antérieures. Claire­ment hors : conception de transformées, codage de canal ou optimisation perceptuelle avec perte (qui sont des préoccupations distinctes).

Tension sémantique

Optimalité de compression (approche de l'entropie) ↔ complexité de l'encodeur/décodeur, latence et robustesse aux erreurs.

Synthèse

Le codage entropique est l'étape sans perte qui transforme un modèle statistique en gains au niveau des bits ; son efficacité dépend autant du modèle de probabilité sous-jacent que de l'algorithme de codage.