Sous conditions de régularité classiques pour un modèle paramétrique de vraisemblance p(x; θ), la variance de tout estimateur sans biais θ̂ d'un paramètre scalaire θ est minorée par l'inverse de l'information de Fisher : Var(θ̂) ≥ 1 / I(θ), avec I(θ)=E[(∂/∂θ log p(X;θ))^2]. Dans le cas multivarié Cov(θ̂) ≥ I(θ)^{-1} au sens des matrices. La borne quantifie un compromis information–précision fondamental pour les estimateurs sans biais.

Principe

L'information de Fisher mesure la sensibilité de la vraisemblance aux variations du paramètre ; une information de Fisher plus grande abaisse la borne inférieure sur la variance réalisable d'un estimateur sans biais — l'information borne la précision.

Démonstration

Scénario illustratif → Estimation de la moyenne μ à partir d'échantillons iid gaussiens de variance connue σ^2 : la moyenne d'échantillon est sans biais avec Var(μ̂)=σ^2/n et I(μ)=n/σ^2, donc Var(μ̂)=1/I(μ), réalisant la borne de Cramér–Rao et montrant l'atteignabilité sous régularité et suffisance.

Mauvaise application

Employer la borne pour des estimateurs biaisés sans tenir compte du biais (ignorant la contribution du biais à l'erreur quadratique moyenne), l'appliquer lorsque les conditions de régularité échouent (vraisemblance non différentiable, paramètre en bord) ou la considérer nécessairement serrée pour petits échantillons ; l'erreur est d'oublier le champ d'application et les conditions requises.

Conséquence

Fournit une référence pour la performance des estimateurs et oriente la conception d'estimateurs efficaces (par ex. le maximum de vraisemblance atteint la borne asymptotiquement sous régularité) ; formalise aussi comment l'information du modèle limite la précision atteignable pour une estimation sans biais.

Inversion

Lorsque des estimateurs sont biaisés, l'erreur quadratique moyenne peut être inférieure à la borne de variance seule ; dans des modèles à vraisemblance irrégulière, paramètres discrets ou échec des conditions de régularité, la borne peut ne pas tenir ou nécessiter des variantes (p. ex. bornes de van Trees, Hammersley–Chapman–Robbins).

Limite

Clairement dans → modèles paramétriques à vraisemblance différentiable, paramètres intérieurs et information de Fisher finie, quand on considère des estimateurs sans biais. Cas limite → régimes d'échantillon petit où les notions d'efficience asymptotique sont trompeuses. Claire­ment hors → cadres non paramétriques sans information de Fisher finie ou problèmes à paramètres non réguliers.

Tension sémantique

Compromis biais–variance ↔ focalisation de Cramér–Rao sur la variance sans biais : minimiser la variance sous contrainte de non-biais peut être sous-optimal pour l'EMQ total, d'où la pratique de tolérer un biais pour réduire l'EMQ malgré la limite de variance.

Synthèse

La borne de Cramér–Rao relie l'information différentielle de la vraisemblance à une limite formelle pour la variance des estimateurs sans biais et sert à la fois de diagnostic (quelle information contient le modèle) et d'objectif (les estimateurs efficaces cherchent à l'atteindre asymptotiquement). Son emploi pratique exige la vérification des régularités, la prise en compte du biais et la considération d'alternatives si les hypothèses échouent.