Fil rouge : un classifieur A fait 87,2 % et un classifieur B 88,1 % sur le même test set de 5 000 images, avec 52 images où A seul a bon et 98 où B seul a bon. Toute l'inférence répond à une seule question : ce qui bouge quand on retire un autre test set.
LGN et TCL — ce qui converge, et vers quoi
QÉnonce le TCL sous forme standardisée et explique pourquoi on recentre et redilate.›
√n (X̄n − μ)/σ → N(0, 1) en loi. Le −μ recentre, le √n/σ redilate : ensemble ils retirent le n de la cible.
Sans eux, la cible N(μ, σ²/n) dépendrait encore de n — donc aucune vraie limite. Forme pratique : X̄n ≈ N(μ, σ²/n), une approximation pour n grand. La LGN, elle, est une vraie limite : X̄n → μ, cible fixe.
« La moyenne empirique a pour centre μ et pour largeur σ/√n, donc pour obtenir une limite fixe on soustrait μ et on multiplie par √n/σ, donc l'objet standardisé converge en loi vers N(0,1). »
QQue dit le TCL de plus que la loi des grands nombres ?›
La LGN donne la destination (X̄n → μ) ; le TCL donne la forme et la vitesse de l'approche : fluctuations gaussiennes d'ordre σ/√n.
« La LGN dit où va la moyenne, donc rien sur l'erreur ; le TCL dit que l'écart, dilaté par √n, est gaussien, donc il permet un quantile, donc un IC et un test. »
QLGN et TCL : quelle hypothèse chacun exige-t-il sur X ?›
LGN : μ fini. TCL : μ et σ² finis — plus exigeant.
Faible vs forte LGN : faible = convergence en probabilité (limite hors du P), forte = presque sûre (limite dans le P). On garde la faible parce qu'elle survit où la forte tombe.
Cauchy (pas de μ) casse les deux : la moyenne de n tirages reste une Cauchy. Pareto à μ fini mais σ² infini vérifie la LGN, pas le TCL.
« Le TCL a besoin d'une variance pour standardiser, donc il exige σ² fini, donc une loi à queue lourde vérifie parfois la LGN sans vérifier le TCL. »
QAprès le TCL, quand on dit « c'est gaussien », qu'est-ce qui est gaussien exactement ?›
Pas X̄n elle-même (un scalaire sur un échantillon donné), mais sa distribution d'échantillonnage — la loi de X̄n si l'on répétait « n tirages → une moyenne ». Elle ne dépend pas de la loi de départ.
« La moyenne obtenue est un nombre, donc elle n'a pas de loi ; c'est la procédure répétée qui en a une, donc c'est cette distribution d'échantillonnage qui tend vers une cloche. »
QDistribution d'échantillonnage de X̄n : parmi centre, largeur et forme, lesquels sont exacts à tout n, lesquels sont asymptotiques ?›
Centre (E[X̄] = μ, linéarité) et largeur (Var = σ²/n, indépendance) sont exacts à tout n. La forme gaussienne est asymptotique (TCL).
Connaître deux moments ne détermine pas une distribution : sans la forme, pas de quantile, donc ni IC ni test.
« La linéarité donne le centre et l'indépendance donne la largeur à tout n, donc seule la forme manque, donc c'est le TCL qui l'apporte, asymptotiquement. »
QTest de validité d'un énoncé asymptotique : quel indice révèle qu'il est mal posé ?›
Si l'indice n apparaît à droite de la flèche, dans la cible, l'énoncé est invalide : la cible bouge en même temps que la suite. Défaut purement logique, sans probabilités.
« Une limite exige une cible fixe, donc si n figure dans la cible il n'y a pas de limite, donc il faut standardiser jusqu'à ce que n disparaisse à droite. »
QPour diviser l'écart-type de la moyenne empirique par k, de combien multiplier n ?›
Par k². L'écart-type de X̄ est σ/√n.
La précision se paie au carré — au-delà d'un point, gagner en précision devient économiquement absurde.
« L'erreur-type décroît en 1/√n, donc diviser l'erreur par k demande de multiplier n par k², donc quadrupler les données ne divise l'incertitude que par deux. »
Intervalles de confiance
QD'où vient l'IC à 95 % pour μ ?›
Du pivot du TCL : P(−1,96 < √n(X̄ − μ)/σ < 1,96) ≈ 0,95, qu'on retourne en μ ∈ [X̄ ± 1,96 σ/√n].
Le 1,96 vient de la forme (quantile de N(0,1)) ; le σ/√n vient de la largeur ; le retournement est une simple algèbre sur l'inégalité.
« Le pivot standardisé est N(0,1), donc il tombe dans ±1,96 avec probabilité 0,95, donc en isolant μ dans l'inégalité on obtient un intervalle aléatoire qui attrape μ 95 fois sur 100. »
Qσ inconnu, remplacé par l'écart-type empirique s : quelle loi suit le pivot, et pourquoi n − 1 ?›
Student à n − 1 degrés de liberté. s est lui-même bruité → queues plus lourdes → quantile plus large que 1,96.
Coefficient à 95 % : 2,26 à n = 10 ; 2,06 à n = 26 ; 2,00 à n = 61. Le n − 1 vient de la contrainte Σ(xi − x̄) = 0 : un degré de liberté est consommé par x̄.
« Remplacer σ par s ajoute du bruit au dénominateur, donc le pivot a des queues plus lourdes qu'une gaussienne, donc on lit le quantile dans une Student à n − 1 degrés de liberté, qui rejoint 1,96 quand n grandit. »
QSignal : IC sur une proportion avec p̂ proche de 0 ou 1 (0 erreur sur 200). Que fais-tu ?›
Wilson (ou bootstrap) plutôt que Wald. Wald remplace p par p̂ dans l'écart-type avant de retourner l'inégalité : rayon nul en p̂ = 0, couverture < 95 % près des bords. Wilson retourne l'inégalité avec le vrai p dans SE (second degré en p).
0 sur 200 : Wald [0 ; 0], Wilson [0 ; 1,9 %]. Règle des trois : borne haute ≈ 3/n. 0,872 sur 5 000 : Wald [86,3 ; 88,1], Wilson [86,2 ; 88,1] — au centre les deux coïncident.
« Wald plugue p̂ dans SE avant de retourner l'inégalité, donc en p̂ = 0 le rayon est nul, donc l'intervalle est vide de sens ; Wilson garde p dans SE, donc résout un second degré, donc reste dans [0,1]. »
QIC à 95 % = [0,96 ; 1,84]. « 95 % de chances que β1 soit dedans » — quelle est l'erreur ?›
La phrase met une probabilité sur β1, qui est fixe. Pour cet intervalle, β1 est dedans ou pas. Le 95 % est la fréquence à laquelle la procédure attrape β1 sur des échantillons répétés.
Pendant bayésien : l'intervalle de crédibilité, où θ a une distribution et le 95 % porte sur θ.
« Le paramètre est une constante et l'intervalle est aléatoire, donc la probabilité porte sur l'intervalle, donc « 95 % » décrit la procédure sur des répétitions, pas ce résultat-ci. »
QQuelle structure d'erreur commune entre « p = 0,01 donc 1 % de chances que H₀ soit vraie » et « 95 % de chances que μ soit dans l'IC » ?›
La même inversion du conditionnement : une probabilité sur les données ou la procédure devient une probabilité sur le paramètre. p-value : P(données | H₀) → P(H₀ | données). IC : P(l'intervalle attrape μ) → P(μ ∈ cet intervalle).
« En fréquentiste le paramètre est fixe, donc aucune probabilité ne peut porter sur lui, donc toute phrase qui met un pourcentage sur H₀ ou sur μ a inversé le conditionnement. »
QLe non-biais E[β̂1] = β1 est une propriété de quoi — et que dit-il de la largeur ?›
De la procédure, pas d'une estimation. Il signifie que le centre de la distribution d'échantillonnage est le vrai β1. Rien sur la largeur : centre et largeur sont deux paramètres indépendants d'une même courbe.
« Le non-biais dit que la moyenne des estimations sur les répétitions vaut β1, donc c'est une propriété du centre, donc une estimation non biaisée peut être très loin du vrai si la variance est grande. »
Tests d'hypothèse
QComment poser H₀ et H₁, et qu'est-ce qui fixe la direction de H₁ ?›
H₀ = le statu quo, toujours une égalité. H₁ porte le soupçon ; sa direction vient de la question posée. « Est-ce différent ? » → bilatéral (≠) ; « trop grand ? » → unilatéral (>).
« H₀ décrit le monde où rien ne se passe, donc c'est une égalité sur le paramètre, donc H₁ est ce qu'on cherche à établir et sa direction vient de la question, pas des données. »
QUne hypothèse nulle porte sur quoi — avec ou sans chapeau ?›
Sur le paramètre inconnu de la population, sans chapeau — jamais sur l'estimation. β̂1 est une donnée, on l'a sous les yeux ; on ne fait pas d'hypothèse sur ce qu'on observe.
« Une hypothèse porte sur ce qu'on ne connaît pas, donc sur β1 sans chapeau, donc la statistique observée sert de preuve, pas d'hypothèse. »
QRégression ventes ~ budget_TV sur 200 marchés : produis la chaîne complète modèle → paramètre → statistique → H₀ / H₁.›
Modèle : Y = β₀ + β₁X + ε. Paramètre : β₁, constante fixe et inconnue. Statistique : t = β̂₁/SE(β̂₁). H₀ : β₁ = 0 contre H₁ : β₁ ≠ 0.
« Le modèle définit le paramètre β₁, donc l'hypothèse porte sur β₁, donc la statistique doit rapporter β̂₁ à son bruit, donc t = β̂₁/SE, comparable à une Student. »
Qα et p-value : lequel est fixé avant, lequel est mesuré — et qu'est-ce que α ?›
α = P(rejeter H₀ | H₀ vraie), taux de faux positifs, fixé avant. La p-value est mesurée sur les données.
α = la limite de vitesse, décidée d'avance ; p = ta vitesse mesurée.
« α est un taux d'erreur qu'on accepte, donc une décision prise avant les données ; la p-value est la surprise des données sous H₀, donc calculée après. »
QDéfinis précisément la p-value — et pourquoi « aussi extrême ou plus » plutôt que la probabilité exacte du résultat ?›
P(observer un résultat au moins aussi extrême que l'observé | H₀ vraie). Avec beaucoup d'issues, chaque valeur exacte est petite, même la plus banale : la proba ponctuelle ne distingue plus rien.
50 piles sur 100 ≈ 8 % alors que c'est le résultat le plus normal ; la masse à ≥ 62 ≈ 1 % est ce qui est surprenant.
« Sous H₀ la statistique a une loi, donc on mesure la masse au-delà de l'observé, donc la p-value est une queue, pas un point — et c'est une probabilité des données, jamais de H₀. »
QRégression, p = 0,03 sur la pente : que signifie exactement cette phrase ?›
Si β₁ était réellement nulle, 3 % des échantillons donneraient une pente au moins aussi éloignée de 0 que celle observée. Ce qui est « extrême », c'est la statistique β̂₁ mesurée par son éloignement à 0.
« On se place dans le monde de H₀, donc on regarde la distribution de β̂₁ sous β₁ = 0, donc p = 0,03 est la part de cette distribution au-delà de l'observé. »
QQue signifie une p-value élevée — et que ne signifie-t-elle PAS ?›
Données compatibles avec H₀ → on ne rejette pas. Non-rejet ≠ H₀ vraie : absence de preuve ≠ preuve d'absence. Cause typique : n trop petit pour détecter l'effet.
« Une p-value élevée dit que les données ne contredisent pas H₀, donc rien de plus, donc l'effet peut exister et n être trop petit pour le voir. »
QErreurs de type I et II : définition, probabilité, et peut-on réduire les deux à la fois ?›
Type I = rejeter H₀ vraie (faux positif), probabilité α. Type II = ne pas rejeter H₀ fausse (faux négatif), probabilité β ; puissance = 1 − β. À n fixé, déplacer le seuil transfère l'erreur d'un côté à l'autre. Seul levier qui réduit les deux : augmenter n.
Procès : type I = condamner un innocent, type II = acquitter un coupable. Mécanisme : σ/√n rétrécit, les distributions sous H₀ et H₁ se séparent.
« Le seuil est un unique curseur entre deux distributions qui se chevauchent, donc le déplacer échange α contre β, donc seul n, qui resserre les deux distributions, réduit les deux. »
QEn quoi le seuil d'un classifieur (0,5 vs 0,8) est-il le même objet que le choix de α ?›
Dans les deux cas un unique curseur déplace deux erreurs en sens inverse sans jamais les réduire toutes deux. Les statistiques produisent toute la courbe (ROC, courbe de puissance) ; choisir le point est un choix métier.
« Un seuil échange faux positifs contre faux négatifs, donc la statistique ne peut que décrire le trade-off, donc la valeur du seuil vient du coût des erreurs, pas des données. »
Comparer deux systèmes — apparié, McNemar, bootstrap
QSignal : deux systèmes produisent une mesure binaire sur les mêmes items. Quel design, quel test, quel geste ?›
Design apparié, test de McNemar sur les seuls discordants. Geste : conditionner sur une nuisance pour la faire disparaître — ici la difficulté globale des items, absorbée par b + c.
« Les deux systèmes voient les mêmes items, donc les mesures sont appariées, donc on compare sur les seuls désaccords, donc la difficulté du jeu de test s'annule. »
Qv1 : 340/500, v2 : 355/500 sur le même jeu. Comment tester la différence ?›
Quatre cas par question ; les concordants n'apportent rien. Sous H₀, b | (b + c) ~ Binomiale(b + c, ½) : on teste si les désaccords sont équilibrés. Statistique (b − c)²/(b + c) ~ χ² à 1 ddl.
Fil rouge : 52 vs 98 désaccords sur 150 → (98 − 52)²/150 = 14,1, p ≈ 0,0002.
« Conditionnellement à la discordance, H₀ donne une pièce équilibrée, donc b suit une binomiale de paramètre ½, donc un déséquilibre marqué entre b et c rejette H₀. »
QTon z pour tester d = 0 et ton IC sur d utilisent-ils la même erreur-type ?›
Non. Le test calcule le bruit sous H₀ : SE = √(π̂/n). L'IC ne suppose rien sur d : SE = √((π̂ − d̂²)/n). L'écart compte quand d² pèse devant π.
5 000 images, 150 désaccords, d̂ = −0,0092 : d̂² = 0,00008 ≪ π̂ = 0,03 → 0,2449 vs 0,2446 point, indiscernable. Réponse d'entretien : « non, mais ici ça ne change rien, et voici pourquoi ».
« Le bruit se calcule dans le monde qu'on décrit, donc le test pose d = 0 dans la variance et l'IC met d̂, donc les deux SE diffèrent de d̂², négligeable quand π domine. »
QSur quel principe repose la légitimité du bootstrap ?›
Le plug-in appliqué à la distribution entière : l'échantillon, vu comme distribution empirique F̂, tient lieu de population F ; tirer avec remise dans F̂ simule « refaire l'expérience ». Justifié par F̂ → F.
Ne crée pas d'information : petit n ou échantillon biaisé sont reproduits tels quels. Chaque rééchantillon omet ≈ 37 % des observations. B ne règle que l'erreur Monte Carlo : 200 pour un SE, ≥ 1 000 pour un IC à 95 %.
« La population est inconnue mais l'échantillon la représente, donc on remplace F par F̂, donc rééchantillonner avec remise reproduit l'aléa du tirage initial. »
QTu compares le F1 de A et B par bootstrap sur le même test set. Quelle est l'unité rééchantillonnée ?›
La paire : l'exemple i avec ses deux réponses. Rééchantillonner A et B séparément casse le lien et perd la covariance. Même logique pour les dépendances : tirer des vidéos entières, pas des frames.
Fil rouge : apparié SE = 0,25 point, 0 exclu de l'IC ; séparé SE = 0,66 point, 0 inclus. Le bootstrap apparié retrouve McNemar sans le connaître.
« Les deux mesures viennent du même tirage, donc elles sont corrélées, donc on tire des indices et on emporte les deux réponses, donc la covariance est conservée et l'IC se resserre. »
QUn classifieur fait 87,2 % sur 5 000 images. D'où vient l'erreur-type de cette accuracy ?›
L'accuracy est la moyenne de n Bernoulli(p) — une par image — donc SE = √(p(1 − p)/n), avec p̂ plugué. Poche : SE ≤ 1/(2√n).
√(0,872 × 0,128 / 5 000) ≈ 0,47 point, soit ±0,9 point à 95 %. Hypothèse cachée : images iid — des frames d'une même vidéo sous-estiment SE.
« Chaque image est un Bernoulli de paramètre p, donc l'accuracy est une moyenne, donc la linéarité donne le centre p et l'indépendance donne la variance p(1−p)/n. »