Une régularité empirique observée dans de grands corpus de langue naturelle selon laquelle la fréquence d’un mot est approximativement inversement proportionnelle à son rang dans une liste ordonnée par fréquence : f(r) ∝ 1/r pour les rangs usuels, avec des écarts systématiques aux extrémités. Il s’agit d’une observation sur la distribution des tokens, non d’une loi théorique nécessaire.

Principe

La langue naturelle présente une relation rang–fréquence fortement asymétrique : peu de mots de haut rang comptent pour une large part des tokens tandis que de nombreux mots sont rares. Ce modèle permet d’anticiper la compression, l’indexation et la croissance du vocabulaire.

Démonstration

Scénario illustratif → Situation : Un corpus d’un million de tokens est classé par fréquence. Reconnaissance : le token le plus fréquent apparaît ~50 000 fois ; le token en rang 10 ~5 000 fois (≈1/10) ; le rang 100 ~500 fois (≈1/100). Action : Les analystes utilisent ce schéma pour établir des listes de mots vides et optimiser la structure des index inversés. Conséquence : Les schémas d’indexation et de compression exploitent cette asymétrie pour réduire le coût moyen de stockage et de recherche.

Mauvaise application

Supposer une loi exacte 1/r pour des corpus petits ou spécialisés, ou l’appliquer aux comptes de types (taille du vocabulaire) sans correction de la taille d’échantillon. L’erreur sémantique est de traiter l’approximation empirique de Zipf comme une loi générative exacte et universelle pour tous les rangs et corpus.

Conséquence

Oriente des choix pratiques en recherche d’information (pondération des termes, suppression des mots vides), en modélisation linguistique et en compression des données. Une mauvaise utilisation peut conduire à une suppression excessive des mots vides ou à une modélisation incorrecte des mots rares.

Inversion

Les corpus spécialisés, très flexionnels ou de très petite taille présentent souvent des écarts systématiques par rapport au 1/r : la tête peut être plus plate (concentration de mots fonctionnels) et la queue plus lourde (nombre élevé d’hapax). La tokenisation, la normalisation morphologique ou la typologie linguistique modifient l’exposant observé.

Limite

Clairement dans : distributions de fréquence de tokens dans de grands corpus représentatifs de langue naturelle. Cas limite : corpus techniques spécifiques où la morphologie et le vocabulaire déplacent la courbe rang–fréquence. Claire­ment hors : jeux de catégories arbitraires sans processus génératif linguistique.

Tension sémantique

Tension entre parcimonie descriptive (lois approximatives utiles comme Zipf) et la précision nécessaire pour décrire les extrémités du corpus et les particularités linguistiques ou de prétraitement.

Synthèse

La Loi de Zipf décrit de façon robuste l’asymétrie des tokens linguistiques et justifie des optimisations pratiques, mais reste une approximation dont l’exposant et l’ajustement varient selon la langue, la taille du corpus et le prétraitement.