Eine empirische Regelmäßigkeit in großen Korpora natürlicher Sprache, wonach die Häufigkeit eines Wortes annähernd umgekehrt proportional zu seinem nach Häufigkeit geordneten Rang ist: f(r) ∝ 1/r für gängige Ränge, mit systematischen Abweichungen an Kopf und Schwanz. Es handelt sich um eine Beobachtung der Token‑Verteilung, nicht um ein theoretisches Gesetz.

Prinzip

Natürliche Sprache zeigt eine schwergewichtete, schiefe Rang‑/Häufigkeitsbeziehung: wenige hohe Ränge erklären einen großen Anteil der Token, viele Wörter treten selten auf. Dieses Muster erlaubt Prognosen für Kompression, Indexierung und Wachstum des Vokabulars.

Demonstration

Illustratives Szenario → Situation: Ein Korpus von einer Million Tokens wird nach Token‑Häufigkeit geordnet. Erkennung: Das häufigste Token erscheint ~50.000‑mal; Rang 10 erscheint ~5.000‑mal (ca. 1/10); Rang 100 ~500‑mal (ca. 1/100). Aktion: Analytiker verwenden dieses Muster zur Erstellung von Stopwortlisten und zur Optimierung inverser Indizes. Folge: Index‑ und Kompressionsverfahren nutzen die vorhersehbare Schiefe, um Speicher- und Abrufkosten zu senken.

Fehlanwendung

Die Annahme eines exakten 1/r‑Verhältnisses für kleine oder domänenspezifische Korpora oder die Übertragung auf Typenzählungen (Vokabulargröße) ohne Größenkorrektur. Der semantische Fehler ist, Zipfs empirische Annäherung als präzises, universales Generierungsprinzip anzusehen.

Konsequenz

Beeinflusst praktische Entscheidungen in der Informationsretrieval‑Technik (Termgewichtung, Stopwortentfernung), Sprachmodellen und Kompressionsstrategien. Missbräuchliche Anwendung kann zu übermäßigem Entfernen von Stopwörtern oder falscher Modellierung seltener Wörter führen.

Umkehrung

Spezialisierte, stark flektierende oder sehr kleine Korpora weichen häufig systematisch vom 1/r‑Verhalten ab: der Kopf kann abgeflachter sein (Fokus auf Funktionswörter), die Schwanzseite schwerer (viele Hapax Legomena). Tokenisierung, morphologische Normalisierung und Sprachtypologie verändern das beobachtete Exponent.

Abgrenzung

Klar innerhalb: Token‑Häufigkeitsverteilungen in großen, repräsentativen Korpora natürlicher Sprache. Randfall: fachliche Korpora, in denen Morphologie und Wortschatz die Rang‑/Frequenzkurve verschieben. Klar außerhalb: willkürliche kategoriale Datensätze ohne sprachlichen Generierungsprozess.

Semantische Spannung

Spannung zwischen sparsamer Modellbildung (nützliche approximative Gesetze wie Zipf) und der Forderung nach präziser Beschreibung an den Rändern und für spezifische Sprachen bzw. Vorverarbeitungen.

Synthese

Zipfsches Gesetz ist ein robustes empirisches Beschreibungsmodell für die Schiefe linguistischer Tokenverteilungen, das viele praktische Optimierungen rechtfertigt, aber als Approximation mit variierendem Exponenten zu behandeln ist.