Ein Rang‑Häufigkeits‑Modell, das Zipfs Gesetz durch eine additive Konstante q verallgemeinert: die Häufigkeit f(r) des Elements am Rang r wird approximiert durch f(r) ∝ 1/(r + q)^{s} mit Parametern s>0 (Exponente) und q≥0 (Verschiebung). Es modelliert die in den niedrigen Rängen oft beobachtete Krümmung und bietet eine flexible Zwei‑Parameter‑Anpassung für Wortfrequenzen und andere nach Rang geordnete Daten.

Prinzip

Die additive Verschiebung q justiert die relative Prominenz der Spitzenränge: q≠0 verringert die implizite Dominanz von Rang 1 und erlaubt eine bessere empirische Anpassung, wenn die Spitzenränge vom reinen Zipf‑Gefälle abweichen.

Demonstration

Illustratives Szenario: In einem bereinigten Textkorpus zeigt das Plotten der Token‑Häufigkeit nach Rang Krümmung in den ersten Hundert Rängen. Ein Zipf–Mandelbrot‑Modell anpassen, s und q schätzen und Residuen mit reinem Zipf (q=0) vergleichen. Erkennung → systematische Abweichung in den Spitzenrängen feststellen → Aktion: geschätztes q zur Neukalibrierung von Stop‑Word‑Behandlung oder Glättung in Sprachmodellen verwenden → Konsequenz: bessere Vorhersagewahrscheinlichkeiten für häufige Token und verbesserte Modellkalibrierung.

Fehlanwendung

q ausschließlich als Maske für Datenqualitätsprobleme zu betrachten oder q als uninterpretierbares Störparameter zu behandeln, ohne Vorverarbeitung (Tokenisierung, Lemmatisierung) zu prüfen, ist Fehlgebrauch; ein weiterer Fehler ist die Anwendung von Rang‑Häufigkeits‑Fitting ohne Prüfung der i.i.d.‑Annahmen oder der Effekte der Vokabulartrunkierung.

Konsequenz

Die Verwendung der Zipf–Mandelbrot‑Form beeinflusst Parameterentscheidungen in Sprachmodellen, Glättungstechniken und Kapazitätsplanung (Speicherung/Indexierung häufiger Elemente); sie macht deutlich, dass das Verhalten der Spitzenränge oft eine separate Behandlung benötigt.

Umkehrung

Für unterschiedliche Korpusgrößen, Genres oder Sprachen ändern sich die besten Werte für s und q; in sehr großen Korpora oder bei bestimmter Vorverarbeitung kann die scheinbare Krümmung verschwinden oder ein anderes Heavy‑Tail‑Modell (z. B. log‑normal) besser passen, sodass Zipf–Mandelbrot nicht universell optimal ist.

Abgrenzung

Eindeutig innerhalb: nach Rang geordnete Token‑Häufigkeiten in einem mittelgroßen Korpus mit Krümmung in der Kopfregion. Randfall: ein Korpus, bei dem die Spitzenränge durch Metadaten (Titel, Boilerplate) statt durch Sprachgebrauch bestimmt werden. Eindeutig außerhalb: kontinuierliche nicht nach Rang geordnete Maße, bei denen eine additive Rangverschiebung keine Interpretation hat.

Semantische Spannung

Sparsamkeit (einparametriges Zipf) versus empirische Anpassung (zweiparametriges Zipf–Mandelbrot): Einfachheit spricht für q=0, Genauigkeit in der Kopfregion spricht für q≠0.

Synthese

Die Hinzunahme der Verschiebung q erfasst Kopf‑Rang‑Abweichungen, die ein reines Zipf‑Gesetz verfehlt; Praktiker sollten q im Kontext von Vorverarbeitung und Umfang des Korpus interpretieren und es nicht als rein abstrakte Glättungskonstante behandeln.