Ensemble de principes et méthodes pour déduire des paramètres ou des fonctions inconnus à partir d'observations bruitées, accompagné de mesures quantitatives de la performance des estimateurs (biais, variance, erreur quadratique moyenne, risque) sous des modèles statistiques et fonctions de perte spécifiés.

Principe

Pour un modèle statistique et une fonction de perte donnés, on peut caractériser des limites de performance (p. ex. la borne de Cramér–Rao pour les estimateurs sans biais sous régularité) et identifier des estimateurs qui atteignent ou approchent ces limites asymptotiquement (p. ex. le maximum de vraisemblance sous conditions de régularité).

Démonstration

Scénario illustratif → Des observations issues d'une loi normale avec moyenne inconnue et variance connue : la moyenne empirique est un estimateur sans biais dont la variance égale la borne de Cramér–Rao pour ce modèle, démontrant un estimateur efficace dans ce contexte.

Mauvaise application

Supposer qu'un estimateur conserve son optimalité en cas de mauvais spécification du modèle ou pour de petits échantillons. L'erreur sémantique est de prendre une garantie asymptotique ou dépendante du modèle pour une validité universelle sans vérifier les hypothèses (forme de la distribution, indépendance, régularité).

Conséquence

Les résultats en théorie de l'estimation guident la conception d'expériences, la sélection de capteurs, la fusion de données et le choix d'algorithmes en fournissant des métriques cibles de performance et en révélant des compromis (p. ex. biais–variance, taille d'échantillon versus variance).

Inversion

Lorsque le modèle supposé est incorrect, que les valeurs aberrantes ou lois à queues lourdes dominent, ou dans des régimes d'échantillon faible, les bornes classiques et l'optimalité asymptotique peuvent échouer et des approches robustes, non paramétriques ou bayésiennes avec critères de performance différents deviennent nécessaires.

Limite

Dans le champ : inférence paramétrique ou semi‑paramétrique sur des paramètres numériques sous modèles stochastiques explicites et une perte spécifiée. Cas limite : régimes haute‑dimensionnels où le nombre de paramètres croît avec les données, modifiant les asymptotiques. Hors du champ : résumés purement descriptifs ou tests d'hypothèse dont l'objectif est la décision plutôt que la reconstitution de paramètres.

Tension sémantique

Biais ↔ Variance — réduire le biais augmente souvent la variance et inversement ; l'équilibre préféré dépend de la fonction de perte et du contexte opérationnel.

Synthèse

La théorie de l'estimation conçoit l'inférence comme une application des données aux paramètres avec des performances quantifiables : le choix pratique de la méthode dépend de la fidélité du modèle, des priorités de perte, du régime d'échantillonnage et des exigences de robustesse plutôt que d'un unique optimum universel.