Une métrique de recherche d'information égale à la moyenne arithmétique, sur un ensemble de requêtes, de l'inverse (réciproque) de la position en classement du premier document jugé pertinent pour chaque requête. Les rangs commencent à 1 ; si aucune réponse pertinente n'est renvoyée, la contribution de la requête est zéro (ou la requête est exclue selon la convention).

Principe

Le MRR mesure le « temps jusqu'à la première réussite » dans une liste ordonnée : la valeur est dominée par la position du premier résultat pertinent et décroît proportionnellement à ce rang (1/rang).

Démonstration

Scénario illustratif → Trois requêtes dont les premiers documents pertinents sont en positions 1, 3 et aucune réponse pertinente. Réciproques : 1/1 = 1, 1/3 ≈ 0,333, 0. MRR = (1 + 0,333 + 0) / 3 ≈ 0,444.

Mauvaise application

Considérer le MRR comme une mesure de la qualité globale quand plusieurs documents pertinents par requête comptent. Il est erroné d'interpréter un MRR élevé comme la preuve que le système renvoie de nombreux documents pertinents tôt : le MRR ne reflète que le premier résultat pertinent.

Conséquence

L'optimisation du MRR pousse les systèmes à prioriser l'apparition d'au moins une réponse pertinente en haut du classement, ce qui réduit le temps d'accès à une réponse mais ne favorise pas la récupération d'items supplémentaires pertinents pour la même requête.

Inversion

Lorsque l'évaluation exige une pertinence graduée, plusieurs résultats pertinents, la diversité ou l'utilité cumulative, le MRR devient inadapté et doit être remplacé par MAP, nDCG ou des mesures sensibles à la diversité.

Limite

Clairement dans le périmètre : tâches à pertinence binaire où l'intérêt principal est le premier résultat pertinent par requête. Cas limite : requêtes à multiples réponses utiles où une mesure du premier hit reflète partiellement la satisfaction. Clairement hors : évaluations à pertinence graduée, tâches demandant le rappel de nombreux documents pertinents ou objectifs de nouveauté/diversité.

Tension sémantique

MRR ↔ MAP/nDCG — tension entre l'optimisation du premier résultat pertinent (MRR) et l'optimisation de la qualité globale du classement ou de la pertinence graduée (MAP, nDCG).

Synthèse

Le MRR est une métrique compacte centrée sur le premier hit : elle convient quand l'objectif principal est de minimiser le rang du premier résultat correct et doit être évitée si des résultats additionnels ou une pertinence graduée sont importants.