Eine Familie lexikalischer Gewichtungsschemata, die jedem Term in einem Dokument eine numerische Bewertung zuweist, gleich einer Funktion der Termhäufigkeit im Dokument (TF) multipliziert mit einer Funktion der Termseltenheit im Korpus (IDF). Übliche Formeln verwenden rohe oder normalisierte TF und IDF = log(N/df) oder Varianten; TF–IDF quantifiziert die Wichtigkeit eines Terms zur Unterscheidung eines Dokuments im Bag‑of‑Words‑Modell.

Prinzip

TF–IDF steigt für Terme, die in einem bestimmten Dokument häufig, im Korpus aber selten sind: hohes TF signalisiert lokale Relevanz, hohes IDF globale Spezifität; ihr Produkt hebt diskriminative Terme hervor und gewichtet häufige Wörter herunter.

Demonstration

Illustratives Beispiel → Korpusgröße N = 1000. Term t erscheint in df = 10 Dokumenten, im Ziel‑Dokument tf = 4 Mal. Mit IDF = log(N/df) = log(1000/10) = log(100) ≈ 4,605 (natürlicher Log) und rohem TF = 4 ergibt TF–IDF ≈ 4 × 4,605 ≈ 18,42. Unterschiedliche TF/IDF‑Normalisierungen liefern andere numerische Werte, aber dasselbe relative Ordnungsprinzip.

Fehlanwendung

TF–IDF als semantisches oder probabilistisches Bedeutungsmodell zu betrachten (es ist eine lexikale Gewichtungsheuristik), oder rohes TF ohne Längen‑Normalisierung zu verwenden, was lange Dokumente bevorzugt, ist falsch. Ebenso unstabil sind IDF‑Schätzungen bei sehr kleinen oder dynamischen Korpora.

Konsequenz

TF–IDF erzeugt spärliche, interpretierbare Featurevektoren, geeignet für lexikalische Suche, Dokumentenranking und klassische NLP‑Aufgaben; die Wirksamkeit hängt von der Korpusrepräsentativität und Vorverarbeitung ab und semantische Embeddings können bei bedeutungsbasiertem Matching überlegen sein.

Umkehrung

Wenn semantisches Matching jenseits des lexikalischen Überlapps erforderlich ist (Synonymie, Paraphrase, kontextuelle Bedeutung), sind neuronale Embeddings oder wissensgestützte Methoden oft besser. Bei sehr kleinem oder stark veränderlichem Korpus sind IDF‑Schätzungen unsicher und alternative Gewichtungen oder Glättungen nötig.

Abgrenzung

Eindeutig innerhalb: Bag‑of‑Words‑basierte Klassifikation und Retrievalaufgaben, wo lexikale Häufigkeit und Korpus‑Seltenheit informativ sind. Randfall: sehr kurze Texte mit niedrigem TF und hoher IDF‑Varianz. Eindeutig außerhalb: Aufgaben, die tiefe semantische Verarbeitung, sprachübergreifende Zuordnung ohne Übersetzung oder kontextualisierte Token‑Repräsentationen verlangen.

Semantische Spannung

Lexikale Spezifität ↔ Semantische Generalisierung — TF–IDF priorisiert seltene lexikalische Signale zur Dokumentunterscheidung, was im Widerspruch zu Zielen stehen kann, die semantische Gleichwertigkeit verschiedener Oberflächenformen erfassen wollen.

Synthese

TF–IDF ist ein pragmatischer, korpusbasierter Diskriminator: er eignet sich, wenn lexikale Unterscheidbarkeit ein brauchbarer Proxy für Relevanz oder Klassenzugehörigkeit ist, und sollte durch semantische Methoden ergänzt oder ersetzt werden, wenn Form‑Mismatch dominiert.