Eine empirische Beziehung in Textkorpora, wonach die Anzahl der unterschiedlichen Worttypen V(N) sublinear mit der Gesamtanzahl der Tokens N wächst und häufig als V(N) ≈ K · N^β mit 0 < β < 1 modelliert wird, wobei K von Sprache und Tokenisierung abhängt. Sie beschreibt abnehmende Raten der Entdeckung neuer Vokabeln, wenn das Korpus wächst.

Prinzip

Da neu hinzukommende Tokens in expandierenden Korpora zunehmend bereits beobachtete Typen wiederholen, liefern zusätzliche Textmengen immer weniger neue Typen; daher ist für die Vokabelgrößenvorhersage ein sublineares Wachstumsmodell angemessener als eine lineare Extrapolation.

Demonstration

Illustratives Szenario → Beim Indizieren einer Nachrichtenkollektion stellt ein Indexer nach 1 Million Tokens 70.000 verschiedene Typen fest; nach Verdopplung der Tokens wächst die Typenanzahl deutlich weniger als proportional, konsistent mit V(N) ≈ K·N^β. Erkennen → K und β werden angepasst, um Lexikongröße und Speicherbedarf zu schätzen. Handlung → Tokenisierungsregeln und Stopplisten werden verfeinert, um das Indexwachstum zu steuern. Folge → Index‑ und Kompressionsbudgets sind realistischer bemessen, und Versuchsdesigns berücksichtigen die geringere marginale Entdeckung neuer Typen.

Fehlanwendung

Zu glauben, es gäbe ein universelles β oder die Beziehung sei unabhängig von der Tokenisierung exakt. Der Fehler besteht darin, zu übersehen, dass β und K mit Sprache, Genre, morphologischer Produktivität, Normalisierung und Korpusheterogenität variieren.

Konsequenz

Richtig angewendet leitet Heaps’ Gesetz die Kapazitätsplanung für Indizes, Festlegung von Vokabelschwellen in Suchsystemen und Schätzung des Aufwandes für Annotation; falsch angewendet führt es zu Fehlplanung, wenn Modellparameter nicht empirisch für das konkrete Korpus ermittelt werden.

Umkehrung

In künstlich erzeugten oder adversarial konstruierten Tokenströmen (viele eindeutige IDs) oder in Korpora mit extremer morphologischer Produktivität ohne Normalisierung kann β gegen 1 gehen und der Wortschatz beinahe linear wachsen, sodass die Annahme der Sublinearität versagt.

Abgrenzung

Klar innerhalb: große Korpora natürlicher Sprache mit standardisierter Tokenisierung und wenig synthetischen Identifikatoren. Randfall: agglutinative Sprachen ohne morphologische Normalisierung mit höher scheinendem Typenwachstum. Klar außerhalb: Datensätze, die hauptsächlich aus zufällig generierten eindeutigen Zeichenketten oder Datenbankschlüsseln bestehen.

Semantische Spannung

Vollständigkeit (alle Typen erfassen für lexikographische Zwecke) ↔ Praktikabilität (Index‑ und Speichergrenzen, die Filterung/Normalisierung erfordern).

Synthese

Heaps’ Gesetz ist eine praxisorientierte, parametrisierbare Erwartung zur Wortschatzentdeckung, die empirisch angepasst und im Zusammenhang mit Tokenisierung und Morphologie interpretiert werden muss; es sagt abnehmende Grenzerträge voraus, aber nicht die Nützlichkeit einzelner Typen.