Une mesure de la sensibilité de la vraisemblance d'un modèle probabiliste aux variations d'un paramètre ; formellement, pour un modèle paramétrique l'information de Fisher est l'espérance (sous le modèle) du carré du score (dérivée du logarithme de la vraisemblance). Elle quantifie la quantité locale d'information qu'une variable observée contient sur un paramètre inconnu et sous-tend des bornes inférieures sur la variance des estimateurs.

Principe

Une information de Fisher plus élevée en un point du paramètre implique une courbure plus forte du log‑vraisemblance et donc (sous conditions de régularité et hypothèses d'absence de biais ou d'arguments asymptotiques) une borne inférieure plus faible sur la variance de l'estimateur via la relation de Cramér–Rao ; pour des échantillons indépendants, l'information de Fisher s'additionne.

Démonstration

Scénario illustratif → Observations X1,…,Xn i.i.d. selon p(x|θ). Reconnaissance → Calculer l'information de Fisher d'échantillon n·I(θ). Action → Appliquer Cramér–Rao : la variance de tout estimateur non biaisé ≥ 1/(n·I(θ)). Conséquence → Augmenter la taille d'échantillon ou choisir des conditions expérimentales qui augmentent I(θ) diminue cette borne inférieure.

Mauvaise application

Prétendre que l'information de Fisher égale directement la précision réalisable sans vérifier la régularité du modèle ou en ignorant le biais et les effets d'échantillon fini — l'erreur est de traiter la borne comme atteignable en petits échantillons, sous mauvaise spécification du modèle ou lorsque le biais viole les hypothèses de Cramér–Rao.

Conséquence

Fournit un outil de conception et d'analyse asymptotique : guide la conception d'expériences (maximiser l'information de Fisher), la reparamétrisation et les prédictions d'échelle de variance en régime de grands échantillons ; formalise aussi l'addition d'information d'observations indépendantes.

Inversion

Ne fournit pas de bornes utiles lorsque les conditions de régularité échouent (vraisemblance non différentiable, support dépendant du paramètre), pour des estimateurs fortement biaisés, ou en contexte non paramétrique où une information de Fisher finie n'exprime pas l'identifiabilité ; d'autres mesures d'information ou calculs directs du risque sont nécessaires.

Limite

Dans le domaine : modèles paramétriques différentiables avec score et moments bien définis et régularité standard. Cas limite : modèles discrets au support dépendant du paramètre où l'espérance du score est mal définie. Hors : modèles non paramétriques sans paramétrisation finie ou modèles fortement mal spécifiés.

Tension sémantique

Tension entre l'information de Fisher (locale, différentielle, dépendante du modèle) et mesures globales/bayésiennes comme l'information mutuelle ou la variance a posteriori — la première est locale/asymptotique, les secondes captent l'incertitude globale ou dépendante de la prior.

Synthèse

L'information de Fisher formalise comment la sensibilité du modèle aux variations de paramètre limite la précision : c'est une quantité locale, additive et opérationnelle pour la conception d'expériences et les bornes asymptotiques de variance, mais son emploi exige prudence quant aux conditions de validité.