- Espérance et variance d'une transformation affine. E[aX + b] = aE[X] + b et Var(aX + b) = a²Var(X) — c'est le a² qui fabriquera le 1/n² (p00-02).
- Additivité des variances sous indépendance. Var(ΣXi) = ΣVar(Xi) seulement si les Xi sont indépendantes (p00-02).
- Moyenne de n v.a. iid et TCL. Sa variance est σ²/n, et sa loi tend vers une normale quand n grandit (p00-04).
- Binomiale(n, p). Somme de n Bernoulli(p) indépendantes : E = np, Var = np(1−p) (p00-01).
- Notation. L'estimateur porte toujours son chapeau : p̂ est calculé sur les données, π ne l'est pas. En fréquentiste on écrit p(x ; π) et non p(x | π) : π est un paramètre fixe, pas une variable aléatoire sur laquelle on conditionne.
La chaîne
Le décor
Un modèle entraîné puis figé, un test set de 1 000 lignes, un chiffre : 87,2 %. Avant toute formule, une seule question — qu'est-ce qui varierait si je refaisais l'expérience ?
Pas le modèle : il est figé. Pas l'accuracy vraie : c'est une propriété du modèle et de la population. Le test set, lui, aurait été un autre échantillon.
« Le modèle est figé, donc ce qui varie d'une expérience à l'autre est le test set, donc le chiffre calculé dessus en dépend, donc le chiffre est une variable aléatoire. »
n = 1 000 lignes, X = 872 bonnes réponses, accuracy observée p̂ = 872/1 000 = 0,872.
π = accuracy vraie du modèle figé sur la population d'usage : inconnue, et pas aléatoire.
Sous H1–H3, chaque ligne est une Bernoulli(π) indépendante, donc
Les trois colonnes tronc
Le geste d'ouverture, avant tout calcul : ranger les objets en trois colonnes — fixe, aléatoire, procédure.
La colonne aléatoire n'a qu'une entrée : le test set. X et p̂ en descendent, ce ne sont pas des sources d'aléa supplémentaires. Si une deuxième entrée apparaît (réentraînement, seuil choisi sur ce même jeu), c'est une autre chaîne.
« Le paramètre est fixe, l'échantillon est tiré, donc l'estimateur est une fonction de l'échantillon, donc c'est lui, et lui seul, qui a une distribution. »
| fixe | aléatoire | procédure |
|---|---|---|
| π (accuracy vraie) le modèle, ses poids n = 1 000 | le test set (seule entrée) ↓ X = 872 ↓ p̂ = 0,872 | tirer 1 000 lignes → compter les bonnes → diviser par n |
Lire de gauche à droite : la procédure prend ce qui est fixe, y injecte ce qui est tiré, et rend un nombre. Ce nombre hérite de l'aléa du tirage — c'est tout ce que dit la suite de la chaîne.
La distribution d'échantillonnage
Refaire l'expérience : retirer 1 000 lignes, recompter, rediviser. À chaque répétition, un p̂ différent. L'histogramme de ces p̂ est la distribution d'échantillonnage de l'estimateur.
Elle n'existe que dans le monde imaginaire des répétitions : dans la vraie vie on n'en observe qu'un point, celui qu'on a en main. Toute l'inférence consiste à décrire cet histogramme sans jamais le voir.
« L'estimateur est une fonction de l'échantillon, donc chaque tirage lui donne une autre valeur, donc l'ensemble de ces valeurs a une loi, donc décrire cette loi — centre, largeur, forme — est le seul programme de la partie. »
Dans la figure ci-dessous, π est posé à 0,87 pour pouvoir simuler. Chaque barre compte des expériences imaginaires ; 0,872 est un point de cet histogramme, pas l'histogramme.
Trois choses à lire, dans l'ordre des trois pas suivants : où l'histogramme est centré, quelle est sa largeur, quelle est sa forme.
Chaque tirage simule un test set entier de 1 000 lignes (1 000 Bernoulli, vraiment tirées) et pose son p̂ dans l'histogramme. Le trait bleu est π = 0,87, fixe ; le trait ambre pointillé juste à sa droite est p̂ = 0,872, le seul point qu'on observe dans la vraie vie ; le trait rouge est la moyenne des tirages simulés. Tire 500 fois : la moyenne colle à π, et l'écart-type de l'histogramme est le SE — le même 0,0106 que le pas 5 calcule à la main.
Son centre
X est une somme de n Bernoulli(π), d'espérance nπ. L'espérance étant linéaire :
L'estimateur est non biaisé. Non biaisé ne veut pas dire juste : la moyenne sur les répétitions vise π, un tirage donné tombe à côté. Le biais est une propriété du centre, jamais d'un chiffre.
« X est une somme de n Bernoulli(π), donc E[X] = nπ, donc E[p̂] = π, donc en moyenne sur les tirages l'estimateur vise juste. »
Avec π = 0,87 : E[X] = 1 000 × 0,87 = 870 bonnes réponses, E[p̂] = 0,87.
On en a observé 872. L'écart de 2 lignes n'est ni une erreur ni un biais : c'est le tirage. Sur la figure 1, la moyenne rouge des 500 tirages tombe à quelques 10⁻⁴ de 0,87.
Sa largeur tronc
Deux étages, deux règles de p00-02. Les n Bernoulli sont indépendantes, leurs variances s'ajoutent ; puis on divise par n, ce qui divise la variance par n².
Le SE, c'est l'écart-type de la distribution d'échantillonnage : la largeur de l'histogramme du pas 3. Il décroît en 1/√n — pour diviser la largeur par 2, il faut quadrupler le test set.
« Les n Bernoulli sont indépendantes, donc leurs variances s'ajoutent en nπ(1−π), donc diviser par n divise la variance par n², donc la largeur décroît en 1/√n. »
π = 0,87, n = 1 000 : Var(p̂) = 0,87 × 0,13 / 1 000 = 1,131·10⁻⁴, donc SE = 0,0106.
| n | SE = √(0,87 × 0,13 / n) | largeur ±1,96 SE |
|---|---|---|
| 100 | 0,0336 | ± 0,066 |
| 1 000 | 0,0106 | ± 0,021 |
| 10 000 | 0,0034 | ± 0,0066 |
×100 sur n ⇒ ÷10 sur le SE. C'est ce que la figure suivante fait voir : la même cloche, trois fois plus étroite à chaque cran.
Mêmes bornes d'axe aux trois valeurs de n : c'est ce qui rend le resserrement visible. Bouge le curseur — 200 tirages sont relancés à chaque cran — puis compare dans le bandeau le SE théorique √(π(1−π)/n) et le SE mesuré sur l'histogramme : ce sont deux façons de nommer la même largeur. Le centre, lui, ne bouge pas : n n'agit que sur la largeur.
On ne connaît pas π : le plug-in
La formule du SE contient π, qui est justement ce qu'on cherche. On y substitue l'estimateur — c'est le plug-in :
Légitime pour deux raisons : p̂ est proche de π (consistance), et la fonction p ↦ p(1−p) varie lentement autour de son argument. L'erreur commise est d'un ordre de grandeur en dessous de la quantité estimée : c'est un pas de la chaîne, pas une approximation honteuse glissée sous le tapis.
« Le SE dépend du paramètre inconnu, donc on y substitue l'estimateur, donc on obtient une estimation du SE, correcte au premier ordre. »
| calculé en | SE |
|---|---|
| π = 0,87 (inaccessible) | 0,010635 |
| p̂ = 0,872 (plug-in) | 0,010565 |
Écart : 7·10⁻⁵, soit 0,7 % du SE lui-même. On rapporte 0,872 ± 0,011 dans les deux cas.
Le plug-in n'est pas propre à la proportion : c'est le même geste qui remplace σ par σ̂ partout ailleurs.
Le rappel est aussi une Bernoulli
Rappel = TP/(TP + FN) : c'est une proportion, mais sur les positifs réels. L'échantillon n'est plus le test set entier, c'est l'ensemble des positifs ; chaque positif est retrouvé ou raté, donc Bernoulli.
Même formule, autre n. La précision suit la même logique avec n = nombre de prédits positifs. L'erreur n'est pas d'appliquer la formule au rappel, c'est de lui donner le n du test set.
« Le rappel conditionne sur les positifs, donc l'échantillon est l'ensemble des positifs, donc n est leur nombre, donc le SE vaut √(r(1−r)/n₊). »
r̂ = 28/30 = 0,933 ; n+ = 30 (pas 1 000).
Quatre fois plus large que le SE de l'accuracy sur le même test set, uniquement parce que le dénominateur est passé de 1 000 à 30. Un rappel sur classe rare est bruité par son effectif de positifs.
La forme : TCL, et quand il lâche
X est une somme de n v.a. iid : le TCL donne p̂ ≈ N(π, SE²), d'où l'intervalle de Wald p̂ ± 1,96 SE. Mais la normale n'arrive que si les deux comptes sont grands :
Ce n'est pas la prévalence qui casse l'intervalle normal, c'est le plus petit des deux comptes. Quand il est petit, la loi est asymétrique et butée contre 0 ou 1 : Wald sort de [0, 1]. Wilson résout l'équation en π au lieu d'y brancher p̂, et reste dans [0, 1] par construction (l'exact, Clopper-Pearson, aussi).
« X est une somme de n variables iid, donc p̂ est approximativement normale et Wald vaut p̂ ± 1,96 SE, donc cette forme exige succès et échecs ≥ 10, donc en deçà on change d'intervalle — Wilson — et non de formule de SE. »
| accuracy 872/1 000 | rappel 28/30 | |
|---|---|---|
| succès / échecs | 872 / 128 | 28 / 2 |
| min ≥ 10 ? | oui | non |
| Wald | [0,851 ; 0,893] | [0,844 ; 1,023] hors de [0 ; 1] |
| Wilson | [0,850 ; 0,891] | [0,787 ; 0,982] |
Sur 1 000 lignes les deux intervalles se superposent : le débat n'existe que dans le coin où le TCL lâche. Retenir le nom et les bornes : Wilson, 28/30, [0,787 ; 0,982].
Même simulation, mais 30 tirages de Bernoulli par expérience au lieu de 1 000. L'histogramme est discret, asymétrique et collé à la borne 1 : ce n'est pas une cloche, et aucun tirage ne peut dépasser 1. La barre rouge est l'intervalle de Wald, qui sort du domaine ; la barre verte est Wilson, qui n'en sort jamais. Compare avec la figure 1 : même formule de SE, même modèle Bernoulli — seul le nombre d'échecs a changé.
Le SE décrit la procédure tronc
Le chiffre en main est une réalisation : 0,872 ne varie pas, il est tombé. Ce qui a une variance, c'est la procédure qui l'a produit — « tirer 1 000 lignes → compter → diviser ».
Un SE ne se lit donc jamais comme une propriété du nombre, mais de la recette : change la recette (un n différent, un autre protocole de tirage) et le SE change sans que π bouge d'un pouce. C'est le mot qui manque le plus souvent quand on récite la formule sans l'objet.
« Le chiffre en main est une réalisation, donc il n'a pas de variance, donc la variance appartient à la procédure qui l'a produit, donc c'est elle que décrit le SE. »
« L'accuracy est 0,872 ± 0,011 » se traduit mot à mot :
« la procédure “tirer 1 000 lignes dans la population d'usage, compter les bonnes réponses du modèle figé, diviser par 1 000” produit des valeurs dispersées de 0,011 autour de π ; celle que j'ai obtenue vaut 0,872. »
Test de cohérence : passer à n = 10 000 divise le SE par ≈ 3,2 sans changer π. Le SE bouge quand la procédure bouge — jamais quand la vérité bouge.
Où ça casse casse
Les trois façons de rendre le SE faux tiennent aux trois hypothèses du haut de page, dans l'ordre : H3, la forme, H1.
« Le SE suppose n lignes indépendantes tirées dans la population d'usage, donc une dépendance entre lignes le rend trop optimiste, donc un échec trop rare lui retire sa forme normale, donc un test set d'une autre population le laisse muet — il mesure une dispersion, jamais un biais. »
- Dépendance entre lignes. Un même utilisateur sur 20 lignes : les 20 réussissent ou échouent ensemble. La variance réelle est plus grande que π(1−π)/n, le n effectif est plus proche du nombre d'utilisateurs que du nombre de lignes. Le SE est trop optimiste — et c'est H3 qui tombe, pas la formule.
- Trop peu de succès ou trop peu d'échecs. min(k, n − k) < 10 : le TCL ne tient plus, Wald sort de [0, 1] (28/30 → borne haute 1,023). Prendre Wilson ou l'exact. À retenir : le rappel d'une classe rare tombe là-dedans par son n — le nombre de positifs — et non par la prévalence.
- Test set non représentatif. Autre période, autre population, doublons : le SE décrit toujours la dispersion autour du π de ce test set, qui n'est pas celui de la production. Le biais n'est pas dans le SE, et aucun n plus grand ne le réduira — un intervalle serré autour du mauvais nombre reste le mauvais nombre.
Résumé
- Le modèle est figé ; ce qui varie, c'est le test set ; donc le chiffre est aléatoire.
- Trois colonnes : fixe (π) · aléatoire (test set → p̂, une seule entrée) · procédure (tirer → compter → diviser).
- Distribution d'échantillonnage : centre π (non biaisé), largeur SE = √(π(1−π)/n), forme normale si succès et échecs ≥ 10.
- On ne connaît pas π : plug-in de p̂ dans le SE, correct au premier ordre (0,0106 vs 0,01056).
- Le rappel est une proportion sur les positifs : même SE, avec n+. 28/30 ⇒ SE = 0,0455, Wald déborde, Wilson [0,787 ; 0,982].
- Le SE décrit la procédure, pas le chiffre en main.
- Casse : dépendance entre lignes, comptes trop petits, test set non représentatif.
Chaîne verbalisée — une prise, à voix haute
- Qu'est-ce qui est aléatoire dans « accuracy = 87,2 % » ?Le test set, donc X, donc p̂. Le modèle et π sont fixes ; une seule entrée dans la colonne aléatoire.
- Quelle est la distribution de X ?Binomiale(n, π) : somme de n Bernoulli(π) indépendantes, sous H1–H3.
- Que valent le centre et la largeur de p̂ ?E[p̂] = π (non biaisé) ; SE = √(π(1−π)/n) — additivité des variances, puis division par n qui divise la variance par n².
- On ne connaît pas π : que fait-on ?Plug-in : on remplace π par p̂ dans la formule du SE. Correct au premier ordre — 0,0106 contre 0,01056.
- Quand la forme normale tombe-t-elle, et que fait-on ?Quand min(succès, échecs) < 10 — pas quand la prévalence est faible. Wald sort de [0,1] (28/30 → 1,023) ; prendre Wilson : [0,787 ; 0,982].
- Le rappel a-t-il un SE, et de quoi le SE est-il la propriété ?Oui : Bernoulli sur les positifs, n = nombre de positifs (28/30 → 0,0455). Et le SE est une propriété de la procédure « tirer → compter → diviser », pas du chiffre obtenu.
Ponts et cartes
stats::estimation (estimateur, biais, SE, plug-in) · stats::inference (distribution d'échantillonnage, Wald vs Wilson) · stats::binomiale (E = np, Var = np(1−p), SE d'une proportion) · stats::tcl (condition succès/échecs ≥ 10, et non la prévalence).
Une carte qui résiste après cette chaîne est une carte à refondre, pas une section à relire.