##  [Zipfsches Gesetz](/de/node/72128) 

 Definition

Eine empirische Regelmäßigkeit in großen Korpora natürlicher Sprache, wonach die Häufigkeit eines Wortes annähernd umgekehrt proportional zu seinem nach Häufigkeit geordneten Rang ist: f(r) ∝ 1/r für gängige Ränge, mit systematischen Abweichungen an Kopf und Schwanz. Es handelt sich um eine Beobachtung der Token‑Verteilung, nicht um ein theoretisches Gesetz.

 

 

 

 

 

 





## Prinzip

Prinzip

Natürliche Sprache zeigt eine schwergewichtete, schiefe Rang‑/Häufigkeitsbeziehung: wenige hohe Ränge erklären einen großen Anteil der Token, viele Wörter treten selten auf. Dieses Muster erlaubt Prognosen für Kompression, Indexierung und Wachstum des Vokabulars.

 

 

 

 

 





## Demonstration

Demonstration

Illustratives Szenario → Situation: Ein Korpus von einer Million Tokens wird nach Token‑Häufigkeit geordnet. Erkennung: Das häufigste Token erscheint ~50.000‑mal; Rang 10 erscheint ~5.000‑mal (ca. 1/10); Rang 100 ~500‑mal (ca. 1/100). Aktion: Analytiker verwenden dieses Muster zur Erstellung von Stopwortlisten und zur Optimierung inverser Indizes. Folge: Index‑ und Kompressionsverfahren nutzen die vorhersehbare Schiefe, um Speicher- und Abrufkosten zu senken.

 

 

 

 

## Fehlanwendung

Fehlanwendung

Die Annahme eines exakten 1/r‑Verhältnisses für kleine oder domänenspezifische Korpora oder die Übertragung auf Typenzählungen (Vokabulargröße) ohne Größenkorrektur. Der semantische Fehler ist, Zipfs empirische Annäherung als präzises, universales Generierungsprinzip anzusehen.

 

 

 

 

 





## Konsequenz

Konsequenz

Beeinflusst praktische Entscheidungen in der Informationsretrieval‑Technik (Termgewichtung, Stopwortentfernung), Sprachmodellen und Kompressionsstrategien. Missbräuchliche Anwendung kann zu übermäßigem Entfernen von Stopwörtern oder falscher Modellierung seltener Wörter führen.

 

 

 

 

## Umkehrung

Umkehrung

Spezialisierte, stark flektierende oder sehr kleine Korpora weichen häufig systematisch vom 1/r‑Verhalten ab: der Kopf kann abgeflachter sein (Fokus auf Funktionswörter), die Schwanzseite schwerer (viele Hapax Legomena). Tokenisierung, morphologische Normalisierung und Sprachtypologie verändern das beobachtete Exponent.

 

 

 

 

 





## Abgrenzung

Abgrenzung

Klar innerhalb: Token‑Häufigkeitsverteilungen in großen, repräsentativen Korpora natürlicher Sprache. Randfall: fachliche Korpora, in denen Morphologie und Wortschatz die Rang‑/Frequenzkurve verschieben. Klar außerhalb: willkürliche kategoriale Datensätze ohne sprachlichen Generierungsprozess.

 

 

 

 

 





## Semantische Spannung

Semantische Spannung

Spannung zwischen sparsamer Modellbildung (nützliche approximative Gesetze wie Zipf) und der Forderung nach präziser Beschreibung an den Rändern und für spezifische Sprachen bzw. Vorverarbeitungen.

 

 

 

 

 





## Synthese

Synthese

Zipfsches Gesetz ist ein robustes empirisches Beschreibungsmodell für die Schiefe linguistischer Tokenverteilungen, das viele praktische Optimierungen rechtfertigt, aber als Approximation mit variierendem Exponenten zu behandeln ist.