Comparer deux modèles
sur le même tirage

0La question unique, et un seul objetce qui change par rapport au cas 1 : il y a une covariance

Même question qu'au cas 1 : qu'est-ce qui varierait si je refaisais l'expérience ? Mais l'expérience a changé. Deux classifieurs A et B, fixés. Un seul test set de n = 5 000 images. A affiche 87,2 %, B affiche 88,1 %. Sur les 5 000 images, les deux modèles sont d'accord 4 850 fois ; sur 52 images A seul a bon ; sur 98 images B seul a bon.

La question qu'on pose n'est pas « que vaut A ? » ni « que vaut B ? ». C'est « B est-il meilleur que A ? ». Cette question porte sur un objet : la différence d = p_A − p_B. C'est ce paramètre-là qui vit au niveau 1.

Le vocabulaire, fixé avant tout calcul

1L'erreur naturelle : deux intervalles séparéset les deux raisons pour lesquelles elle est fausse

On sort la recette du cas 1 deux fois. A : SÊ_A = √(0,872·0,128/5000) = 0,47 point, IC = [86,3 ; 88,1]. B : SÊ_B = √(0,881·0,119/5000) = 0,46 point, IC = [87,2 ; 89,0]. Les deux intervalles se chevauchent largement. Conclusion tentante : « pas de différence significative ».

C'est faux, pour deux raisons distinctes qu'il faut savoir nommer séparément.

Raison 1, la question. Deux intervalles répondent à deux questions (« où est p_A ? », « où est p_B ? »). La question posée est une troisième (« où est d ? »), et elle demande son propre intervalle. Regarder un chevauchement, c'est un test approximatif et conservateur, même quand les mesures sont indépendantes : deux IC à 95 % qui se touchent à peine correspondent à peu près à un test à 99 %, pas à 95 %.

Raison 2, la covariance. Règle 2 du cas 1 : Var(p̂_A − p̂_B) = Var(p̂_A) + Var(p̂_B) − 2·Cov(p̂_A, p̂_B). Regarder les deux IC séparément, c'est faire comme si Cov = 0. Or les deux modèles sont mesurés sur les mêmes images, et la covariance est fortement positive. Ignorer le terme −2Cov, c'est surestimer la variance de la différence, donc élargir l'intervalle, donc rater des différences réelles.

2Le bruit partagébrique unique : deux mesures sur le même tirage bougent ensemble, et leur différence bouge moins

Écris chaque mesure comme vraie valeur plus bruit : p̂_A = p_A + e_A, p̂_B = p_B + e_B. Le bruit vient du tirage : un test set tombé « facile » (beaucoup d'images nettes) remonte les deux modèles ; un test set tombé « dur » les descend tous les deux. Même tirage, même chance, donc e_A et e_B sont corrélés positivement.

La différence observée s'écrit alors d̂ = (p_A − p_B) + (e_A − e_B). La part commune des deux bruits se soustrait. Ce qui reste, c'est seulement la part où les deux modèles réagissent différemment au tirage. Précision honnête : l'annulation est partielle, proportionnelle à la corrélation des erreurs.

Dans la figure, chaque point est un test set : ses coordonnées sont les deux accuracies mesurées. Sur le même tirage, le nuage s'étire le long de la diagonale — quand A monte, B monte. La différence, lue perpendiculairement à la diagonale, est étroite. Avec deux test sets distincts, le nuage devient rond, et la différence est large. Même quantité de données, même vérité, deux précisions.

3Le calcul apparié : la brique Dᵢencore une moyenne empirique, et l'effectif qui compte n'est pas 5 000

La brique nouvelle : sur chaque image, on ne regarde plus deux 0/1, on regarde un nombre, D_i = X_i − Y_i, qui vaut −1, 0 ou +1.

Maillon 1. d̂ = (1/n) Σ D_i = (52 − 98)/5000 = −46/5000 = −0,92 point. Cohérent avec 87,2 − 88,1. Et c'est encore une moyenne empirique : toute la chaîne du cas 1 s'applique, avec D_i à la place de X_i. E[d̂] = d par linéarité ; Var(d̂) = Var(D_i)/n par les règles 1 et 2.

Maillon 2, la variance de D_i. Formule de calcul : Var(D_i) = E[D_i²] − E[D_i]². Or D_i² vaut 1 exactement quand les modèles sont en désaccord, donc E[D_i²] = π, le taux de désaccord. Et E[D_i] = d. D'où :

Le maillon central du cas 2 : les 4 850 accords sont absents de cette variance. Ils contribuent 0 à D_i et 0 à D_i². L'effectif qui porte l'information, ce n'est pas 5 000, c'est 150. Deux modèles qui se trompent sur les mêmes images ne s'aident pas à se départager : ils ne donnent aucune information l'un sur l'autre.

Maillon 3, plug-in. π̂ = 150/5000 = 0,03, d̂ = −0,0092. SÊ_d̂ = √((0,03 − 0,0092²)/5000) = √(0,02992/5000) = √(5,98·10⁻⁶) = 0,00245, soit 0,245 point.

Comparaison avec le non-apparié. Si on avait ignoré la covariance : √(SÊ_A² + SÊ_B²) = √(0,47² + 0,46²) ≈ 0,66 point. Le bruit est divisé par presque 3 grâce à l'appariement.

Maillon 4, l'intervalle et le z. z = d̂ / SÊ = −0,0092 / 0,00245 ≈ −3,8. IC₉₅(d) = −0,92 ± 1,96 × 0,245 = [−1,40 ; −0,44] point. Il exclut 0 : B est significativement meilleur. En non-apparié, z ≈ −0,92/0,66 ≈ −1,4, IC = [−2,2 ; +0,4], contient 0. Même donnée, conclusion opposée. La covariance n'est pas un raffinement, elle décide.

Le lien général, pour le tableau : Var(d̂) = 2s²(1 − ρ) où s² est la variance moyenne d'une mesure et ρ la corrélation des erreurs. Ici ρ ≈ 0,86. Et 1 − ρ = π / (2p(1−p)) : la corrélation est d'autant plus forte que le taux de désaccord est petit. Contre-intuitif mais vrai : deux modèles proches sont plus faciles à départager, parce qu'ils sont en désaccord sur peu d'images, et ces quelques images parlent fort.

4McNemar : la même chaîne sous H₀SE estimée contre SE sous l'hypothèse nulle

Le test de McNemar n'est pas une recette à part. C'est cette chaîne, avec une seule différence : on calcule la SE en supposant que H₀ est vraie (d = 0) au lieu de la calculer avec le d̂ observé.

Sous H₀, d = 0, donc Var(D_i) = π − 0 = π, et Var(d̂) = π/n. En comptages, avec b = 52 et c = 98 : d̂ = (b − c)/n, π̂ = (b + c)/n, donc

n a disparu. Seuls les désaccords comptent, et la formule le dit tout haut. La valeur diffère à peine du −3,8 précédent, parce que d̂² est négligeable devant π. La distinction devient importante quand l'effet est grand par rapport au taux de désaccord.

5Le bootstrap appariésimuler « refaire l'expérience » au lieu de le calculer

La chaîne ci-dessus marche parce que d̂ est une moyenne. Pour une métrique qui n'en est pas une (F1, AUC, un win-rate jugé par un LLM), il n'y a pas de formule fermée pour la SE. Le bootstrap contourne : la population, je ne l'ai pas ; l'échantillon est ma meilleure approximation de la population, alors je tire dedans.

Recette : tirer 5 000 images avec remise dans le test set, recalculer la métrique, recommencer B fois, lire la dispersion des B valeurs. C'est la question unique, exécutée : chaque rééchantillon est un « et si j'avais eu un autre test set ».

La subtilité qui fait tout, et qui est la même que la marche 2 : on rééchantillonne les paires (X_i, Y_i), c'est-à-dire des images entières, pas la colonne de A et la colonne de B séparément. Rééchantillonner séparément casserait le lien entre les deux mesures sur une même image, donc effacerait la covariance, donc retomberait sur la SE non appariée de 0,66. Le bootstrap apparié retrouve 0,245 : il ne sait rien de la formule π − d², il la redécouvre en refaisant l'expérience.

▮La lecture correcte, avec la phrase au tableau

Où chaque maillon casse

Quand tu compares, demande-toi d'abord quel est l'objet unique, puis ce que les deux mesures ont en commun dans leur tirage.