L'intervalle
porte sur la procédure

0La question unique et les trois niveauxle décor, et la source de presque toutes les confusions

Une seule question organise toute l'inférence : qu'est-ce qui varierait si je refaisais l'expérience ? Tout ce qui suit est une manière de répondre à cette question de façon chiffrée.

Le décor. Un classifieur d'images, fixé, entraîné, on n'y touche plus. Un test set de n = 5 000 images tirées de la population des images que le modèle rencontrera. Il en classe correctement 4 360 : accuracy 87,2 %. Tu veux écrire dans ton rapport ce que vaut ce modèle, avec une marge honnête.

Les probabilités vivent au niveau 2. Une fois le nombre tombé, il n'y a plus de probabilité : 87,2 est un nombre, il ne fluctue pas, il est. La quasi-totalité des phrases fausses sur les intervalles de confiance vient d'un glissement entre les niveaux 2 et 3, et la figure des cent équipes, plus bas, existe pour le rendre impossible.

Le vocabulaire, fixé avant tout calcul

La ligne σ contre SE est celle qui se mélange le plus. σ dit à quel point une image est imprévisible ; SE dit à quel point ta moyenne sur 5 000 images est imprévisible. Le premier ne bouge pas quand tu ajoutes des images ; le second rétrécit.

1Les briques, une par unerien n'est utilisé avant d'être posé ; deux règles portent tout

Variable aléatoire. Le résultat numérique d'une expérience pas encore faite. Après tirage, ce n'est plus une variable aléatoire, c'est une réalisation. X_i, « le modèle a-t-il bon sur l'image numéro i », est une variable aléatoire tant que l'image i n'est pas tirée.

Espérance. E[X] = Σ_v v·P(X = v). Le centre de gravité de la loi. Propriété cardinale : linéaire, toujours, sans condition. E[aX + bY] = aE[X] + bE[Y] que X et Y soient indépendants ou non. Retiens que c'est la seule brique qui ne demande rien.

Variance. Var(X) = E[(X − E[X])²]. La dispersion autour du centre. Pourquoi le carré, et pas l'écart tout court ? Deux raisons, pas une, et la figure montre la première.

La seconde raison est celle qui compte pour la suite : le carré donne l'additivité (règle 2 ci-dessous). Avec la valeur absolue, on aurait bien une mesure de dispersion, mais la dispersion d'une somme ne se calculerait plus à partir des dispersions des termes. Formule de calcul équivalente, en une ligne : développer (X − μ)² = X² − 2μX + μ², prendre l'espérance, Var(X) = E[X²] − E[X]².

Écart-type. σ = √Var. Il remet dans l'unité de X (des points d'accuracy, pas des points carrés). Discipline : calculer en variance, interpréter en écart-type. Les variances s'ajoutent, les écarts-types non.

Bernoulli(p). X vaut 1 avec probabilité p, 0 sinon. E[X] = 1·p + 0·(1−p) = p. Comme X² = X (un 0 ou un 1 au carré ne change pas), E[X²] = p, donc Var(X) = p − p² = p(1−p). Nulle en 0 et en 1, maximale (0,25) en 0,5 : un modèle toujours juste ne fluctue pas, un modèle qui a une chance sur deux fluctue le plus.

2La moyenne de n tirages iidbrique unique : Var(X̄) = σ²/n, et d'où vient chaque n

X₁, …, X_n indépendants et de même loi, chacun d'espérance μ et de variance σ². X̄ = (1/n) Σ X_i.

Maillon 1. E[X̄] = (1/n) Σ E[X_i] = (1/n)·n·μ = μ. Règle : linéarité. Aucune indépendance requise. L'estimateur est sans biais.

Maillon 2, en trois pas séparés.

Règle 1, avec a = 1/n. D'où le n².

Règle 2, avec toutes les covariances nulles parce que les X_i sont indépendants. C'est le seul endroit de la chaîne où l'indépendance sert.

Le n² de la règle 1 contre le n de la règle 2 : il en reste un. « Pourquoi n et pas n² ? » attend exactement cette simplification.

3Appliquer à l'accuracy, puis le plug-in, puis le TCLle maillon qui saute le plus souvent, et la circularité placée là où elle surgit

L'accuracy est une moyenne empirique de Bernoulli. C'est le maillon que l'on oublie de dire, et une fois dit, tout ce qui précède s'applique sans rien changer. Niveau 1 : p. Niveau 2 : tirer 5 000 images iid, X_i ~ Bernoulli(p), p̂ = (1/n) Σ X_i. Donc E[p̂] = p et Var(p̂) = p(1−p)/n, en remplaçant σ² par sa valeur Bernoulli.

Le même p pour toutes les images n'est pas un postulat : c'est la conséquence de rendre aléatoire le tirage de l'image. Les images ont des difficultés différentes ; avant tirage, chaque position a la même probabilité de succès, la moyenne des difficultés sur la population. C'est déroulé en détail dans la page du cas 3, section « Rappel ».

Le plug-in, exactement là où il apparaît

La formule SE = √(p(1−p)/n) contient p. Tu ne connais pas p, c'est précisément ce que tu cherches. Circularité. On la résout en remplaçant p par p̂ : SÊ = √(p̂(1−p̂)/n). Pourquoi c'est légitime : p̂ tend vers p quand n grandit, et surtout la fonction p(1−p) est plate près de son sommet, donc se tromper un peu sur p change très peu la SE.

Fil rouge. √(0,872 × 0,128 / 5000) = √(0,1116/5000) = √(2,23·10⁻⁵) = 0,00472, soit 0,47 point. Formule de poche : SE ≤ 1/(2√n), atteinte en p = 0,5 ; pour n = 5 000, 0,71 point au pire. Où ça casse : p̂ près de 0 ou 1. Zéro erreur sur 100 images donne SÊ = 0, absurde. Règle : np̂ ≥ 10 et n(1−p̂) ≥ 10, sinon Wilson (marche 5).

Le TCL : la forme du bruit

Chaque X_i ne prend que deux valeurs, et pourtant leur moyenne suit, pour n grand, une loi gaussienne : p̂ ≈ N(p, SE²). C'est le théorème central limite. On ne le démontre pas ici, on le regarde se produire.

Conséquence directe, au niveau 2 : P(|p̂ − p| ≤ 1,96·SE) ≈ 0,95. Dans 95 % des tirages, la mesure tombe à moins de 1,96 SE de la vérité. Cette phrase parle de p̂, qui est aléatoire, et de p, qui est fixe. Retiens l'ordre : c'est la mesure qui bouge autour de la vérité, pas la vérité autour de la mesure.

4L'intervalle et sa lectureretourner une inégalité, puis ne pas se tromper de niveau

|p̂ − p| ≤ 1,96·SE se lit dans les deux sens. « p̂ est à moins de 1,96 SE de p » est la même phrase que « p est à moins de 1,96 SE de p̂ ». On retourne donc l'inégalité et on remplace SE par SÊ :

L'intervalle est centré sur p̂ parce qu'il répond à « où est p ? ». Un intervalle centré sur une valeur hypothétique p₀ répondrait à une autre question, « les données sont-elles compatibles avec p₀ ? », et s'appellerait un test.

Cent équipes, cent intervalles

Voici l'image mentale qui rend la lecture stable. Cent équipes mesurent le même modèle, chacune sur son propre test set de 5 000 images. Chacune calcule son intervalle. La vraie valeur p est la même pour toutes, et aucune ne la connaît.

Le 95 % vit au niveau 2. L'intervalle [86,3 ; 88,1] vit au niveau 3. Tu es l'une des cent équipes, tu ne sais pas laquelle, et tout ce que tu peux dire c'est que tu as suivi une recette qui réussit 95 fois sur 100.

5Wald contre Wilsonaccepter le plug-in ou le refuser

L'intervalle p̂ ± 1,96·SÊ a un nom : Wald. Il accepte le plug-in de la marche 3 sans discuter. Ordre à ne pas inverser : le plug-in vient d'abord, Wald est le nom de l'intervalle qui le prend tel quel. Dire « grâce à Wald on remplace p par p̂ » met la conclusion avant la prémisse.

Wilson refuse le plug-in. Il garde p inconnu dans la SE et cherche tous les p tels que |p̂ − p| ≤ 1,96·√(p(1−p)/n). C'est une inéquation du second degré en p, dont la solution est un intervalle légèrement décalé vers 0,5 et jamais hors de [0, 1]. Autrement dit : Wilson est le test inversé, Wald est l'approximation du test inversé.

Pour n = 5 000 et p̂ = 0,872, les deux donnent [86,3 ; 88,1] au dixième près. Ils divergent quand le plug-in casse : petit n, p̂ près de 0 ou 1.

Lecture de la figure : à n = 100 et p = 0,98, Wald donne [95,3 ; 100,7] — une borne au-delà de 100 %, et surtout une couverture réelle bien en dessous de 95 %, parce que quand le tirage donne 0 erreur, SÊ = 0 et l'intervalle se réduit à un point qui rate presque sûrement. Wilson donne [93,0 ; 99,4] et tient sa promesse. La règle np̂ ≥ 10 et n(1−p̂) ≥ 10 est le seuil au-delà duquel on peut se permettre Wald.

▮Où chaque maillon casse

Chaque fois que tu calcules une métrique, demande-toi de quoi elle est la moyenne, et sur quel tirage.