Klasse verlustfreier Source‑Coding‑Verfahren, die Quellsymbole entsprechend ihren geschätzten Wahrscheinlichkeiten mit Codewörtern variabler Länge belegen, um die durchschnittliche Codelänge zu reduzieren; umfasst Präfixcodes (z. B. Huffman), arithmetisches/Range‑Coding und praktische Varianten und setzt ein explizites oder implizites probabilistisches Symbolmodell voraus.

Prinzip

Häufige Symbole sollten kürzere Repräsentationen erhalten, um die mittlere Länge zu verringern; bei einem genauen Wahrscheinlichkeitsmodell kann die erwartete Codelänge der Quellentropie nahekommen, Ineffizienz entsteht durch Modellfehlanpassung oder endliche Code‑Beschränkungen.

Demonstration

Situation: Diskrete Quelle mit Wahrscheinlichkeiten p(a)=0,5, p(b)=0,25, p(c)=0,25. Erkennung: Wahrscheinlichkeiten unterscheiden sich. Aktion: Konstruktion eines Präfixcodes (z. B. kürzere Codewörter für 'a' als für 'b' und 'c') oder Einsatz arithmetischer Codierung für lange Sequenzen. Konsequenz: Die durchschnittlichen Bits pro Symbol liegen unter einer Festlängencodierung und nähern sich mit wachsender Blocklänge bzw. Modellgüte der Entropie an.

Fehlanwendung

Entropie‑Codierung auf Daten ohne geeignetes Symbolmodell anwenden (z. B. i.i.d.-Annahme bei starken Kontextabhängigkeiten) führt zu Überschätzung der Kompression und versäumt, bedingte Struktur auszunutzen; der Fehler ist die Verwechslung von Symbolhäufigkeitscodierung mit effektiver Modellierung von Abhängigkeiten.

Konsequenz

Entropie‑Codierung senkt die mittlere Bitrate für verlustfreie Repräsentation, ist aber empfindlich gegenüber Modellqualität, fügt Encoder/Decoder‑Zustand und Latenz hinzu (insbesondere bei arithmetischer Codierung) und kann bei fehlender Rahmung oder Fehlerprotektion zu Fehlerausbreitung neigen.

Umkehrung

Sind Symbolwahrscheinlichkeiten unbekannt und Daten sehr kurz, können universelle fixe‑zu‑variable Verfahren weniger effektiv sein als einfache Festlängendarstellungen; in low‑latency‑ oder fehleranfälligen Kanalumgebungen bevorzugt man manchmal einfachere Codes trotz geringerer Effizienz.

Abgrenzung

Klar innerhalb: Huffman‑ und arithmetische Codierung für modellierte diskrete Symbolströme. Randfall: Entropie‑Codierung nach verlustbehafteter Quantisierung — die Entropie‑Codierung bleibt verlustfrei für die quantisierten Symbole, die Gesamtkompression wird jedoch durch frühere verlustbehaftete Schritte bestimmt. Klar außerhalb: Transformauslegung, Kanalcodierung oder verlustbehaftete perceptuelle Optimierung.

Semantische Spannung

Kompressionsoptimalität (Annäherung an die Entropie) ↔ Implementierungs‑ und Laufzeitkomplexität, Latenz und Robustheit.

Synthese

Entropie‑Codierung ist die verlustfreie Stufe, die ein statistisches Modell in Bit‑Einsparungen überführt; ihre Wirksamkeit hängt sowohl vom zugrundeliegenden Wahrscheinlichkeitsmodell als auch vom gewählten Codieralgorithmus ab.