Das Prinzip der kleinsten Quadrate bestimmt Modellparameter durch Minimierung der Summe der quadrierten Residuen zwischen beobachteten Werten und Modellvorhersagen: arg min_θ Σ_i (y_i - f(x_i; θ))^2. Es definiert eine Loss‑Funktion, die in linearen Modellen geschlossene Formlösungen liefert und unter i.i.d. gaußschem Additivrauschen dem Maximum­Likelihood‑Schätzer entspricht.

Prinzip

Die Minimierung der quadrierten Fehler liefert Parameterschätzer, die im Sinne der L2‑Loss optimal sind; in linearen Modellen mit zentrierten, homoskedastischen Fehlern ist der Schätzer der beste lineare unverzerrte Schätzer (Gauss‑Markov) und bei Gauß‑Rauschen zugleich MLE.

Demonstration

Illustratives Szenario: In der einfachen linearen Regression y = α + β x + ε mit E[ε]=0 berechnet man α̂ und β̂ durch Minimierung von Σ(y_i - α - β x_i)^2. Erkennung: Summe der Quadrate aufstellen; Handlung: Normale Gleichungen (X'X)θ = X'y lösen; Folge: geschlossene Formlösungen, geometrisch als orthogonale Projektion von y in den Spaltenraum von X interpretierbar.

Fehlanwendung

Least‑Squares anzuwenden, ohne Modellannahmen zu prüfen (Heteroskedastizität, korrelierte Fehler, dickschwänziger Lärm oder abhängige Beobachtungen). Der Fehler besteht darin, Least‑Squares‑Schätzer als effizient oder unverzerrt zu behandeln, wo Gauss‑Markov‑ bzw. Gauß‑Annahmen verletzt sind, was zu irreführenden Inferenz­ergebnissen führt.

Konsequenz

Unter seinen Annahmen liefert Least‑Squares unverzerrte, varianzminimale lineare Schätzer und handhabbare Inferenzformeln; bei Verletzung der Annahmen bleibt es eine praktische Verlustfunktion, kann jedoch ineffizient oder anfällig für Ausreißer sein, was robuste Alternativen (L1, Huber, gewichtete LS) nahelegt.

Umkehrung

Wenn Fehlerverteilungen dicke Ränder haben, heteroskedastisch oder korreliert sind, oder wenn Robustheit bzw. eine andere Verlustfunktion gewünscht ist, ist Least‑Squares nicht optimal; Gewichtung, Transformationen oder alternative Schätzer sind angezeigt. In kleinen Stichproben oder bei Modellfehlangaben können LS‑Schätzer verzerrt sein oder irreführende Varianzschätzungen liefern.

Abgrenzung

Klar innerhalb: lineare Regression mit unabhängigen, homoskedastischen, nullmittelnden Fehlern und korrekt spezifiziertem linearen Modell. Grenzfall: Regressionen mit leichter Heteroskedastizität behandelbar durch Gewichtung. Klar außerhalb: Modelle mit nichtlinearen Linkfunktionen, die andere Verlustfunktionen erfordern, oder Daten mit extremen Ausreißern, für die L2‑Loss ungeeignet ist.

Semantische Spannung

Least‑Squares ↔ Robuste Schätzung. Least‑Squares optimiert Effizienz unter gaußähnlichen Fehlern, opfert dabei aber Robustheit gegenüber Ausreißern und Modellfehl­spezifikation; die Wahl ist ein Trade‑off zwischen statistischer Effizienz und Widerstandsfähigkeit.

Synthese

Least‑Squares verbindet geometrische Projektionsvorstellungen mit probabilistischer Optimalität unter Gauß‑ und Homoskedastizitätsannahmen; es ist sowohl eine Verlustfunktion als auch—unter bestimmten Rauschmodellen—ein Likelihood‑basierter Schätzer, weshalb seine Angemessenheit von der Gültigkeit dieser Annahmen abhängt.