FichesCarte › Partie 01 · L'objet aléatoire › déroulé 05

La chaîne du test en régression, hypothèse par hypothèse

Fil A, huit marches sur cinq points. x = (1, 2, 3, 4, 5), pente vraie β1 = 2, un tirage de bruits, et tout le reste se calcule : β1 = 2,05, SE = 0,445, t = 4,60, p = 0,019, IC95 = [0,63 ; 3,47]. Chaque marche porte en marge deux badges : la règle qui sert, l'hypothèse qu'elle consomme — et rien de plus. Le résultat du déroulé n'est pas le rejet : c'est le registre, qui dit quelle hypothèse casse quoi.

Ce que ce déroulé suppose acquis — et ne redémontre pas
Les cinq hypothèses, nommées une fois pour toutes
H0Le modèle linéaire est juste : yi = β0 + β1xi + εi, les xi posés fixes. H1E[εi] = 0. Version à X aléatoire : E[ε | X] = 0, dite exogénéité. H2Var(εi) = σ², la même pour tous — homoscédasticité. H3Les εi sont indépendants entre eux. H4Les εi sont gaussiens.

« i.i.d. » n'est pas une hypothèse mais deux : le i d'indépendant, c'est H3 ; le i.d. d'identiquement distribué, c'est H2. Elles servent à des endroits différents, et elles cassent séparément.

Les huit marches, sur cinq points

Les trois colonnes, estimateurs compris tronc

règleshypothèsesH0H1H2H3H4

Avant la première formule, trois colonnes. FIXE : β0, β1, σ², et les xi, posés fixes. ALÉATOIRE : les εi. PROCÉDURE : la recette, écrite en toutes lettres.

Le piège est dans la colonne du milieu : elle ne contient pas que la source de l'aléa. Les yi sont fonction des εi, et β1, σ², SE, t, p, l'IC sont fonctions des yi. Tous sont dans la colonne aléatoire.

« Les ε sont tirés, donc les y le sont, donc toute fonction des y l'est, donc les estimateurs sont dans la colonne aléatoire, et pas seulement le tirage. »

Au tableau — marche 1
FIXEALÉATOIREPROCÉDURE
β0 = 1, β1 = 2
σ² = 1
x = (1, 2, 3, 4, 5)
n = 5, Sxx = 10
ε (seule source)
y = β0 + β1x + ε
β1, β0, σ²
SE, t, p, l'IC
tirer les ε
→ ajuster par OLS
→ calculer t
→ comparer au seuil
→ reporter

Les xi sont en colonne FIXE par décision, pas par nature : on conditionne dessus. C'est cette décision qui rend les wi de la marche 3 constants.

Aléatoire ≠ réalisé tronc

règleshypothèsesH0H1H2H3H4

β1 est une variable aléatoire. 2,05 est sa réalisation sur ce tirage. Les nombres 2,05 · 0,445 · 4,60 · 0,019 ne vont dans aucune colonne : ce sont des valeurs prises, pas des objets.

Écrire « β1 = 2,05 » est un raccourci commode. La phrase juste est « sur ce tirage, β1 vaut 2,05 ». Test de contrôle : un nombre n'a ni espérance ni variance.

« L'objet est la règle appliquée au tirage, donc le nombre est ce qu'elle a donné cette fois, donc il n'a ni espérance ni variance, donc il n'est dans aucune colonne. »

Au tableau — marche 2
l'objet (aléatoire)sa réalisation sur ce tirage
β1 = Σ wiyi2,05
SE = σ/√Sxx0,445
T = β1/SE4,60
la p-value, variable aléatoire0,019

Sous H₀, la p-value est elle-même un objet aléatoire : elle suit une loi uniforme sur [0 ; 1]. 0,019 est l'un de ses tirages.

Figure 1 — ce qui bouge quand on retire les ε

La droite verte est β0 + β1x = 1 + 2x : colonne FIXE, elle ne bouge jamais. Les points et la droite ajustée sont la colonne ALÉATOIRE. Clique « nouveau tirage » : les cinq nombres du bandeau changent tous les quatreβ1, SE, t et les bornes de l'IC — alors que rien de vrai n'a bougé. « Superposer dix tirages » montre dix droites possibles : c'est la procédure qu'on regarde, pas un résultat. Et l'IC rate parfois le 2 : ça arrive à 5 % des tirages, sans que rien dans les données ne le dise.

β1 est linéaire dans les bruits tronc

règleshypothèsesH0H1H2H3H4

On branche le modèle dans la formule d'OLS, et on lit ce qui reste :

β1 = Σ wiyi = Σ wi(β0 + β1xi + εi) = β1 + Σ wiεi

parce que Σwi = 0 tue le β0 et Σwixi = 1 laisse le β1 nu. Une seule hypothèse consommée : H0, le modèle est le bon. Rien n'a encore été supposé sur les ε.

« Les wi ne dépendent que des x, donc β1 est une combinaison linéaire des y, donc en y branchant le modèle il reste β1 + Σwiεi, donc toute la suite porte sur cette seule somme. »

Au tableau — marche 3
xi12345
wi = (xi − 3)/10−0,2−0,100,10,2
εi (ce tirage)1,4−1,1−0,2−0,81,5
yi = 1 + 2xi + εi4,43,96,88,212,5
Σwi = 0  ·  Σwixi = 1  ·  Σwi² = 0,1 = 1/Sxx

Σwiεi = −0,28 + 0,11 + 0 − 0,08 + 0,30 = 0,05, donc sur ce tirage β1 = 2 + 0,05 = 2,05. Et β0 = ȳβ1 = 7,16 − 6,15 = 1,01.

Le centre : E[β1] = β1

règlesR1R2hypothèsesH0H1H2H3H4

Trois lignes, chacune avec le nom de sa règle — et la troisième seule consomme une hypothèse sur le bruit :

E[β1] = E[β1] + Σ E[wiεi]   (R2)
= β1 + Σ wi E[εi]   (R1 sur β1, R2 pour sortir le wi fixe)
= β1   (H1)

Ni la variance, ni l'indépendance, ni la normalité n'ont servi. Le non-biais ne coûte que E[εi] = 0.

« Les wi sont fixes, donc E[β1] = β1 + ΣwiE[εi], donc H1 annule la somme, donc β1 est sans biais, et seule H1 a servi. »

Au tableau — marche 4, une ligne = une règle
lignerèglehypothèse
sortir l'espérance de la sommeR2 (linéarité)aucune
E[β1] = β1 et E[wiεi] = wiE[εi]R1 puis R2 — deux règlesaucune
annuler la sommeH1

La deuxième ligne est celle où deux règles se cachent sous un seul geste : R1 dit que l'espérance d'une constante est cette constante, R2 dit qu'un facteur fixe sort de l'espérance. Les nommer toutes les deux, séparément.

Ce qui la casse. Une variable omise corrélée à x — la saison, la taille du client — tombe dans ε et donne E[ε | X] ≠ 0. Le biais qui en résulte ne se corrige pas en ajoutant des données : c'est le centre qui est faux, pas la largeur.

La largeur : Var(β1) = σ²/Sxx tronc

règlesR3R4R5hypothèsesH0H1H2H3H4

Var(β1) = Varwiεi)   (R3 : β1 est une constante)
= Σ Var(wiεi)   (R5, et c'est là que H3 sert)
= Σ wi² Var(εi)   (R4)
= σ² Σwi² = σ²/Sxx   (H2 : la même variance pour tous)

Deux hypothèses neuves, H2 et H3, et une qui n'a pas servi : H1 ne joue aucun rôle dans la valeur de cette variance. H4 n'a toujours pas été prononcée.

« β1 est une constante donc R3 l'efface, les ε sont indépendants donc R5 additionne les variances, R4 sort les wi au carré, donc il reste σ²Σwi², c'est-à-dire σ² sur l'étalement des x. »

Au tableau — marche 5
Var(β1) = 1² × 0,1 = 0,1    SE = σ/√Sxx = 1/√10 = 0,316

C'est le vrai SE, celui qu'on ne connaît pas : il contient σ. L'étalement des x est au dénominateur — cinq points serrés autour de 3 donneraient un Sxx minuscule et une pente illisible, à bruit identique.

Marche 4 consommait H1 et rien d'autre ; marche 5 consomme H2 et H3 et pas H1. Le centre et la largeur ne reposent pas sur les mêmes hypothèses — c'est toute la thèse du registre.

Figure 2 — l'objet, et le point qu'on en voit

Chaque tirage refait cinq bruits gaussiens, rejoue OLS et pose le β1 obtenu dans l'histogramme. Le trait vert est β1 = 2, fixe ; le trait ambre pointillé est 2,05, le seul point qu'on observe dans la vraie vie ; le trait rouge est la moyenne des tirages. Clique « tirer 500 » : l'écart-type mesuré converge vers le 0,316 calculé à gauche. 2,05 est un point de cet histogramme ; l'histogramme est l'objet. « n = 50 » rejoue le même plan d'expérience dix fois : Sxx passe de 10 à 100, donc le SE passe de 0,316 à 0,100 — la cloche se resserre d'un facteur √10.

σ est inconnu : σ² = RSS/(n − 2)

règleshypothèsesH0H1H2H3H4

Le SE de la marche 5 contient σ, qu'on n'a pas. On l'estime sur les résidus. Ils portent deux contraintes — Σri = 0 et Σrixi = 0 (p05-01 pas 5) — donc ils vivent dans un espace de dimension n − 2, pas n.

σ² = RSS/(n − 2)    SE = σ/√Sxx

Diviser par n sous-estimerait σ². Hypothèses consommées pour que E[σ²] = σ² : H1, H2, H3. Toujours pas H4.

« Les résidus portent deux contraintes, donc il leur reste n − 2 degrés de liberté, donc diviser par n sous-estimerait σ², donc le bon diviseur est 3 et σ² vaut 1,982. »

Au tableau — marche 6
xi12345
yi = 1,01 + 2,05xi3,065,117,169,2111,26
ri = yiyi1,34−1,21−0,36−1,011,24
RSS = 5,947   σ² = 5,947/3 = 1,982   σ = 1,408   SE = 1,408/√10 = 0,445

Le vrai SE vaut 0,316 : l'estimé se trompe de 41 % vers le haut. Ce n'est pas une erreur de calcul, c'est n = 5. σ² est lui-même une variable aléatoire, très dispersée à 3 degrés de liberté.

Et Σri = 0 se vérifie à l'œil : 1,34 − 1,21 − 0,36 − 1,01 + 1,24 = 0.

La forme : t ~ Student(3) tronc

règleshypothèsesH0H1H2H3H4

Sous H₀ : β1 = 0, on forme t = β1/SE. Le numérateur est une combinaison linéaire de gaussiennes, donc gaussien : c'est H4, et c'est son seul emploi. Le dénominateur est estimé, donc il fluctue, donc le quotient a des queues plus lourdes qu'une normale : c'est une Student à n − 2 = 3 degrés de liberté.

i.i.d. se sépare. L'indépendance (H3) sert deux fois — à R5 en marche 5, et à la loi du dénominateur ici. L'identique distribution (H2) sert une fois, à factoriser σ². Ce sont deux hypothèses, avec deux emplois.

« Le numérateur est normal par H4, donc le dénominateur estimé fait fluctuer le quotient, donc t a des queues plus lourdes qu'une normale, donc t suit une Student à n − 2 = 3 degrés de liberté ; sans H4 la normale ne revient qu'à grand n, par le TCL. »

Au tableau — marche 7
t = 2,05 / 0,445 = 4,60    ddl = n − 2 = 3
hypothèsece qu'elle donne icisans elle
H4 gaussienStudent exacte à 3 ddlrien d'exact ; TCL à grand n
H3 indépendanceσ² indépendant de β1le quotient n'est plus une Student
ddl = 3seuil bilatéral 5 % = 3,181,96 seulement à n grand

Le prix des petits échantillons est là : 3,18 contre 1,96, soit 62 % de largeur en plus avant même de parler de SE.

Décider : p-value, seuil, IC

règleshypothèsesH0H1H2H3H4

Un seul calcul, quatre lectures (p01-02 pas 6) :

rejeter à α  ⇔  p < α  ⇔  |t| > tα  ⇔  0 ∉ IC1−α

Le piège. p = 0,019 est P(|T3| ≥ 4,60 | β1 = 0), une probabilité sur le tirage, sous H₀. Ce n'est ni P(β1 = 0 | données), ni « 98 % de chances que β1 ≠ 0 » : β1 est en colonne FIXE, aucune probabilité ne s'attache à lui.

« Sous H₀ le centre est zéro et la largeur est le SE, donc la p-value est l'aire au-delà de |t|, donc rejeter à α, p < α, |t| > tα et zéro hors de l'IC sont la même inégalité, donc quatre phrases pour un seul calcul, et aucune n'est une probabilité sur β1. »

Au tableau — marche 8
lecturele calculverdict
seuil|t| = 4,60 > 3,18rejet
p-valuep = 0,019 < 0,05rejet
intervalleIC95 = 2,05 ± 3,18 × 0,445 = [0,63 ; 3,47]0 dehors ⇒ rejet
largeurdemi-largeur 1,417énorme, à n = 5

L'IC contient 2, la vraie pente — sans qu'on le sache. Il contient aussi 1 et 3 : rejeter « la pente est nulle » ne veut pas dire « la pente vaut 2,05 ». Le rejet est une conclusion sur zéro, pas sur 2,05.

Le registre : quelle hypothèse casse quoi tronc

règlesR1R2R3R4R5hypothèsesH0H1H2H3H4

C'est le résultat du déroulé, et la réponse à la question d'entretien. Chaque conclusion ne consomme que les hypothèses de sa ligne : casser une hypothèse ne casse que les lignes qui la nomment.

« Chaque conclusion ne consomme que les hypothèses de sa propre ligne, donc casser une hypothèse ne casse que les lignes qui la nomment, donc "quelle hypothèse casse quoi" se lit dans une seule colonne. »

Au tableau — comment se lit le registre

Colonne 2 : ce que la conclusion achète. Colonne 3 : ce qu'elle laisse libre — c'est elle qu'on oublie de dire, et c'est elle qui répond en entretien. Colonne 4 : le contre-exemple à donner.

La dernière ligne est le fil B, posée ici seulement pour être trouvée : « les moindres carrés » et « le maximum de vraisemblance » ne coïncident que sous H4.

Le registre des hypothèses
conclusionconsommene consomme pasce qui la casse
β1 = β1 + ΣwiεiH0tout le restemodèle faux (non-linéarité)
E[β1] = β1 — sans biaisH1H2, H3, H4variable omise corrélée à x
Var(β1) = σ²/SxxH2, H3H1 (pour la valeur), H4hétéroscédasticité, dépendance
σ² = RSS/(n − 2) sans biaisH1, H2, H3H4idem
t ~ Student(n − 2) exactementH4non-gaussien à petit n ; à grand n, TCL
p, seuil, ICtout ce qui précèdemultiplicité ; procédure qui regarde le tirage
OLS = maximum de vraisemblanceH4autre loi de bruit ⇒ autre loss (p02-01)
Figure 3 — casser une hypothèse, et regarder ce qui tombe

Le même histogramme qu'en figure 2, mais les bruits sont simulés avec une hypothèse cassée. Clique un bouton : les lignes du registre qui consomment cette hypothèse s'allument, les autres pâlissent. Puis « tirer 500 », et lis le readout — moyenne, écart-type, et surtout la couverture de l'IC95, qui devrait valoir 95 %. H1 déplace le centre (2,50 au lieu de 2,00) sans élargir grand-chose. H2 et H3 cassent la largeur et font tomber la couverture à 88 % et 79 % — et note que H3 rétrécit l'histogramme : la dépendance ne fait pas toujours « plus large », elle fait « plus faux ». H4 ne déplace ni le centre ni la largeur : la couverture reste à 95 %, seules les queues changent. C'est la ligne « t ~ Student exactement » qui tombe, et elle seule.

Le second exemple : 90 % contre 91 %

marches123hypothèsesH0H1H2H3H4

Deux modèles A et B, déjà entraînés, évalués sur le même test set de n lignes : 90 % et 91 %. Les marches 1 à 3 se rejouent telles quelles, sur un autre objet.

Le réflexe qui manque : mettre pA, pB et D dans la colonne aléatoire, et pas seulement « le test set ». Ce sont eux qu'on regarde.

« Les modèles sont figés donc ils sont fixes, donc la seule chose tirée est le test set, donc pA, pB et leur différence sont aléatoires, donc 90 % et 91 % sont deux réalisations et non deux objets. »

Au tableau — les trois colonnes, deuxième fois
FIXEALÉATOIREPROCÉDURE
pA, pB
D = pBpA
les deux modèles
le test set
pA, pB
D = pBpA
tirer n lignes
→ évaluer A et B dessus
→ reporter D
→ conclure
90 % et 91 % : deux réalisations. Aucune colonne.

Test : « si je tirais un autre test set ». pA, pB, D bougent ; pA, pB, D et les deux modèles ne bougent pas.

La suite — pourquoi il faut apparier, et pourquoi l'objet est D et non le couple — est aux pas 2 et 3 de p01-04.

Où ça casse casse

règleshypothèsesH0H1H2H3H4

Le registre dit ce qui casse dans la chaîne. Reste ce qui casse autour : la procédure elle-même, quand elle n'est plus écrite d'avance.

« La procédure doit être fixée avant le tirage, donc la choisir après avoir vu β1 ou p change la loi de ce qu'elle produit, donc le 5 % annoncé n'est plus le taux réel, donc c'est exactement la panne du biais du max. »

Quatre pannes
  • Choisir H₁ après avoir vu le signe. Décider « unilatéral à droite » parce que β1 est positif met 5 % dans une seule queue alors que le tirage a déjà choisi la queue : le taux de faux positifs réel est de 10 %, pas 5 %. L'unilatéral n'est légitime que décidé avant.
  • Relever α après avoir vu p. « p = 0,07, disons 10 % » : le seuil devient fonction du tirage, donc la garantie de 5 % ne porte plus sur rien. Même mécanisme que le biais du max et que b02 : ce qu'on optimise sur le tirage ne se lit plus comme une mesure.
  • La multiplicité. Tester dix pentes et rapporter la plus significative : sous H₀ vraie partout, P(au moins un p < 0,05) = 1 − 0,9510 = 40 %. Le nombre de tests fait partie de la procédure, donc il doit être déclaré.
  • n = 5. SE = 0,445 contre 0,316 vrai, seuil 3,18 au lieu de 1,96, IC large de 2,83. La chaîne est exacte et la conclusion est fragile : ici rien n'est cassé, c'est simplement ce que cinq points permettent de dire.

Résumé

À retenir
  1. Colonnes — FIXE β, σ², x · ALÉATOIRE ε, y, et tous les estimateurs · PROCÉDURE tirer → OLS → t → seuil → reporter. Les nombres tombés ne sont dans aucune colonne.
  2. Marche 3β1 = β1 + Σwiεi, par H0 seule. w = (−0,2 ; −0,1 ; 0 ; 0,1 ; 0,2), Σwiεi = 0,05 ⇒ 2,05.
  3. Marche 4, le centre — R2, puis R1 + R2, puis H1 : E[β1] = β1. H2, H3, H4 n'ont pas servi.
  4. Marche 5, la largeur — R3, R5 (H3), R4, H2 : σ²/Sxx = 0,1, SE = 0,316. H1 n'a pas servi.
  5. Marche 6 — deux contraintes sur les résidus ⇒ σ² = 5,947/3 = 1,982, SE = 0,445 (contre 0,316 vrai).
  6. Marche 7H4t ~ Student(3), seuil 3,18. « i.i.d. » = deux hypothèses, H3 pour additionner, H2 pour factoriser.
  7. Marche 8t = 4,60, p = 0,019, IC = [0,63 ; 3,47] : quatre lectures d'un seul calcul, et aucune n'est une probabilité sur β1.
« Les x sont fixes et les ε sont tirés, donc β1 s'écrit β1 + Σwiεi : E[ε] = 0 suffit à le centrer sur β1, l'indépendance et l'homoscédasticité donnent σ²/Sxx pour sa largeur, et la normalité ne sert qu'à faire du quotient β1/SE une Student exacte à n − 2 degrés de liberté. Sur mes cinq points : t = 4,60 contre un seuil de 3,18, p = 0,019, IC = [0,63 ; 3,47] — je rejette une pente nulle à 5 %. Et si une variable omise était corrélée à x, c'est le centre que je perdrais, pas la largeur. »

Chaîne verbalisée — à voix haute, sans support

6 maillons · clique pour révéler après avoir dit
  1. Nomme les trois colonnes pour une régression, estimateurs compris.
    FIXE : β₀, β₁, σ², les x. ALÉATOIRE : ε, donc y, donc β̂₁, β̂₀, σ̂², SÊ, t, p, l'IC. PROCÉDURE : tirer les ε → ajuster par OLS → calculer t → comparer au seuil → reporter.
  2. Où vont 2,05 et 0,019 ?
    Nulle part. Ce sont des réalisations, pas des objets : un nombre tombé n'a ni espérance ni variance.
  3. Quelle hypothèse seule donne le non-biais, et qu'est-ce qui le casse ?
    H1, E[εᵢ] = 0, et elle seule — R2 puis R1 + R2 font le reste. Ce qui le casse : une variable omise corrélée à x, donc E[ε | X] ≠ 0. Plus de données n'y change rien.
  4. Quelles hypothèses donnent σ²/S_xx, et pourquoi « i.i.d. » est deux hypothèses ?
    H3 (indépendance), qui autorise R5 à additionner les variances, et H2 (même σ²), qui autorise à factoriser après R4. L'une sert à additionner, l'autre à factoriser : deux hypothèses, deux emplois, deux façons de casser.
  5. À quoi sert la normalité, et que fait-on sans elle ?
    À une seule chose : rendre le numérateur exactement gaussien, donc t exactement Student(n − 2). Sans elle, plus de loi exacte ; la normale revient à grand n par le TCL, et rien ne la rend à n = 5.
  6. Écris les quatre lectures équivalentes d'un rejet à α.
    Rejet à α ⇔ p < α ⇔ |t| > t_α ⇔ 0 ∉ IC₁₋α. Un seul calcul, quatre phrases — et aucune n'est P(β₁ = 0 | données), parce que β₁ est en colonne FIXE.