Une famille de schémas de pondération lexicale qui attribue à chaque terme d'un document un score numérique égal à une fonction de la fréquence du terme dans ce document (TF) multipliée par une fonction de la rareté du terme dans le corpus (IDF). Les formulations courantes utilisent TF brut ou normalisé et IDF = log(N / df) ou variantes ; TF–IDF quantifie l'importance d'un terme pour distinguer un document dans un modèle sac‑de‑mots.

Principe

TF–IDF augmente pour les termes fréquents dans un document particulier mais rares dans le corpus : TF élevé signifie importance locale, IDF élevé signifie spécificité globale ; leur produit met en évidence les termes discriminants tout en sous‑pondérant les mots fréquents.

Démonstration

Scénario illustratif → Corpus N = 1000 documents. Terme t présent dans df = 10 documents, et apparaît tf = 4 fois dans le document cible. Avec IDF = log(N/df) = log(1000/10) = log(100) ≈ 4,605 (log naturel) et TF = 4, TF–IDF ≈ 4 × 4,605 ≈ 18,42. Différentes normalisations de TF ou IDF donnent des valeurs numériques différentes mais le même principe d'ordre relatif.

Mauvaise application

Prendre TF–IDF pour un modèle sémantique ou probabiliste du sens (c'est un heuristique de pondération lexicale), ou utiliser TF brut sans normalisation de longueur, ce qui biaise les documents longs. De même, supposer que l'IDF est stable sur un corpus très petit ou dynamique est incorrect : les estimations de df peuvent être bruitées.

Conséquence

TF–IDF fournit des vecteurs de caractéristiques clairsemés et interprétables utiles pour la recherche lexicale, le classement de documents et de nombreuses tâches classiques de TAL ; son efficacité dépend de la représentativité du corpus et du prétraitement (lemmatisation, suppression des stopwords, tokenisation) et il peut être surpassé par des embeddings sémantiques pour la mise en correspondance fondée sur le sens.

Inversion

Quand la mise en correspondance sémantique au‑delà du chevauchement lexical est requise (synonymie, paraphrase, sens contextuel), les embeddings neuronaux ou méthodes enrichies surpassent souvent TF–IDF. Sur un corpus minuscule ou très dynamique, les estimations d'IDF peuvent être peu fiables et des pondérations alternatives ou un lissage sont nécessaires.

Limite

Clairement dans : tâches de classification et récupération fondées sur sac‑de‑mots où fréquence lexicale et rareté corpusielle sont informatives. Cas limite : fragments très courts où TF est faible et la variance de l'IDF élevée. Clairement hors : tâches demandant compréhension sémantique profonde, correspondance sans traduction interlingüe, ou représentations contextuelles de tokens.

Tension sémantique

Spécificité lexicale ↔ Généralisation sémantique — TF–IDF privilégie les signaux lexicaux rares qui distinguent les documents, ce qui peut entrer en tension avec l'objectif de capturer l'équivalence sémantique entre formes de surface différentes.

Synthèse

TF–IDF est un discriminateur pragmatique basé sur le corpus : il convient lorsque la distinctivité lexicale est un proxy raisonnable de pertinence ou d'appartenance, et doit être combiné ou remplacé par des méthodes sémantiques quand la divergence de forme de surface domine la tâche.