- Les cinq règles (p00-02). R1 E[c] = c · R2 E est linéaire, E[Σ aiXi] = Σ aiE[Xi], sans aucune hypothèse · R3 Var(c + X) = Var(X) · R4 Var(aX) = a²Var(X) · R5 Var(ΣXi) = ΣVar(Xi) si indépendants.
- OLS et ses deux contraintes (p05-01 pas 4 et pas 5). β1 = Σ wiyi avec wi = (xi − x̄)/Sxx ; les résidus vérifient Σri = 0 et Σrixi = 0.
- La chaîne de l'inférence (p01-03) : σ² = RSS/(n − p), le plug-in dans le SE, le quotient en Student. Ce déroulé ne la refait pas : il la rejoue en nommant à chaque ligne l'hypothèse consommée.
- IC, test, dualité (p01-02 pas 6) et les trois colonnes (p01-01 pas 2).
- Notation. L'estimateur porte son chapeau. En fréquentiste on écrit p(y ; β), jamais p(y | β) : β n'est pas aléatoire.
« i.i.d. » n'est pas une hypothèse mais deux : le i d'indépendant, c'est H3 ; le i.d. d'identiquement distribué, c'est H2. Elles servent à des endroits différents, et elles cassent séparément.
Les huit marches, sur cinq points
Les trois colonnes, estimateurs compris tronc
règles—hypothèsesH0H1H2H3H4
Avant la première formule, trois colonnes. FIXE : β0, β1, σ², et les xi, posés fixes. ALÉATOIRE : les εi. PROCÉDURE : la recette, écrite en toutes lettres.
Le piège est dans la colonne du milieu : elle ne contient pas que la source de l'aléa. Les yi sont fonction des εi, et β1, σ², SE, t, p, l'IC sont fonctions des yi. Tous sont dans la colonne aléatoire.
« Les ε sont tirés, donc les y le sont, donc toute fonction des y l'est, donc les estimateurs sont dans la colonne aléatoire, et pas seulement le tirage. »
| FIXE | ALÉATOIRE | PROCÉDURE |
|---|---|---|
| β0 = 1, β1 = 2 σ² = 1 x = (1, 2, 3, 4, 5) n = 5, Sxx = 10 | ε (seule source) ↓ y = β0 + β1x + ε ↓ β1, β0, σ² ↓ SE, t, p, l'IC | tirer les ε → ajuster par OLS → calculer t → comparer au seuil → reporter |
Les xi sont en colonne FIXE par décision, pas par nature : on conditionne dessus. C'est cette décision qui rend les wi de la marche 3 constants.
Aléatoire ≠ réalisé tronc
règles—hypothèsesH0H1H2H3H4
β1 est une variable aléatoire. 2,05 est sa réalisation sur ce tirage. Les nombres 2,05 · 0,445 · 4,60 · 0,019 ne vont dans aucune colonne : ce sont des valeurs prises, pas des objets.
Écrire « β1 = 2,05 » est un raccourci commode. La phrase juste est « sur ce tirage, β1 vaut 2,05 ». Test de contrôle : un nombre n'a ni espérance ni variance.
« L'objet est la règle appliquée au tirage, donc le nombre est ce qu'elle a donné cette fois, donc il n'a ni espérance ni variance, donc il n'est dans aucune colonne. »
| l'objet (aléatoire) | sa réalisation sur ce tirage |
|---|---|
| β1 = Σ wiyi | 2,05 |
| SE = σ/√Sxx | 0,445 |
| T = β1/SE | 4,60 |
| la p-value, variable aléatoire | 0,019 |
Sous H₀, la p-value est elle-même un objet aléatoire : elle suit une loi uniforme sur [0 ; 1]. 0,019 est l'un de ses tirages.
La droite verte est β0 + β1x = 1 + 2x : colonne FIXE, elle ne bouge jamais. Les points et la droite ajustée sont la colonne ALÉATOIRE. Clique « nouveau tirage » : les cinq nombres du bandeau changent tous les quatre — β1, SE, t et les bornes de l'IC — alors que rien de vrai n'a bougé. « Superposer dix tirages » montre dix droites possibles : c'est la procédure qu'on regarde, pas un résultat. Et l'IC rate parfois le 2 : ça arrive à 5 % des tirages, sans que rien dans les données ne le dise.
β1 est linéaire dans les bruits tronc
règles—hypothèsesH0H1H2H3H4
On branche le modèle dans la formule d'OLS, et on lit ce qui reste :
parce que Σwi = 0 tue le β0 et Σwixi = 1 laisse le β1 nu. Une seule hypothèse consommée : H0, le modèle est le bon. Rien n'a encore été supposé sur les ε.
« Les wi ne dépendent que des x, donc β1 est une combinaison linéaire des y, donc en y branchant le modèle il reste β1 + Σwiεi, donc toute la suite porte sur cette seule somme. »
| xi | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| wi = (xi − 3)/10 | −0,2 | −0,1 | 0 | 0,1 | 0,2 |
| εi (ce tirage) | 1,4 | −1,1 | −0,2 | −0,8 | 1,5 |
| yi = 1 + 2xi + εi | 4,4 | 3,9 | 6,8 | 8,2 | 12,5 |
Σwiεi = −0,28 + 0,11 + 0 − 0,08 + 0,30 = 0,05, donc sur ce tirage β1 = 2 + 0,05 = 2,05. Et β0 = ȳ − β1x̄ = 7,16 − 6,15 = 1,01.
Le centre : E[β1] = β1
règlesR1R2hypothèsesH0H1H2H3H4
Trois lignes, chacune avec le nom de sa règle — et la troisième seule consomme une hypothèse sur le bruit :
= β1 + Σ wi E[εi] (R1 sur β1, R2 pour sortir le wi fixe)
= β1 (H1)
Ni la variance, ni l'indépendance, ni la normalité n'ont servi. Le non-biais ne coûte que E[εi] = 0.
« Les wi sont fixes, donc E[β1] = β1 + ΣwiE[εi], donc H1 annule la somme, donc β1 est sans biais, et seule H1 a servi. »
| ligne | règle | hypothèse |
|---|---|---|
| sortir l'espérance de la somme | R2 (linéarité) | aucune |
| E[β1] = β1 et E[wiεi] = wiE[εi] | R1 puis R2 — deux règles | aucune |
| annuler la somme | — | H1 |
La deuxième ligne est celle où deux règles se cachent sous un seul geste : R1 dit que l'espérance d'une constante est cette constante, R2 dit qu'un facteur fixe sort de l'espérance. Les nommer toutes les deux, séparément.
Ce qui la casse. Une variable omise corrélée à x — la saison, la taille du client — tombe dans ε et donne E[ε | X] ≠ 0. Le biais qui en résulte ne se corrige pas en ajoutant des données : c'est le centre qui est faux, pas la largeur.
La largeur : Var(β1) = σ²/Sxx tronc
règlesR3R4R5hypothèsesH0H1H2H3H4
= Σ Var(wiεi) (R5, et c'est là que H3 sert)
= Σ wi² Var(εi) (R4)
= σ² Σwi² = σ²/Sxx (H2 : la même variance pour tous)
Deux hypothèses neuves, H2 et H3, et une qui n'a pas servi : H1 ne joue aucun rôle dans la valeur de cette variance. H4 n'a toujours pas été prononcée.
« β1 est une constante donc R3 l'efface, les ε sont indépendants donc R5 additionne les variances, R4 sort les wi au carré, donc il reste σ²Σwi², c'est-à-dire σ² sur l'étalement des x. »
C'est le vrai SE, celui qu'on ne connaît pas : il contient σ. L'étalement des x est au dénominateur — cinq points serrés autour de 3 donneraient un Sxx minuscule et une pente illisible, à bruit identique.
Marche 4 consommait H1 et rien d'autre ; marche 5 consomme H2 et H3 et pas H1. Le centre et la largeur ne reposent pas sur les mêmes hypothèses — c'est toute la thèse du registre.
Chaque tirage refait cinq bruits gaussiens, rejoue OLS et pose le β1 obtenu dans l'histogramme. Le trait vert est β1 = 2, fixe ; le trait ambre pointillé est 2,05, le seul point qu'on observe dans la vraie vie ; le trait rouge est la moyenne des tirages. Clique « tirer 500 » : l'écart-type mesuré converge vers le 0,316 calculé à gauche. 2,05 est un point de cet histogramme ; l'histogramme est l'objet. « n = 50 » rejoue le même plan d'expérience dix fois : Sxx passe de 10 à 100, donc le SE passe de 0,316 à 0,100 — la cloche se resserre d'un facteur √10.
σ est inconnu : σ² = RSS/(n − 2)
règles—hypothèsesH0H1H2H3H4
Le SE de la marche 5 contient σ, qu'on n'a pas. On l'estime sur les résidus. Ils portent deux contraintes — Σri = 0 et Σrixi = 0 (p05-01 pas 5) — donc ils vivent dans un espace de dimension n − 2, pas n.
Diviser par n sous-estimerait σ². Hypothèses consommées pour que E[σ²] = σ² : H1, H2, H3. Toujours pas H4.
« Les résidus portent deux contraintes, donc il leur reste n − 2 degrés de liberté, donc diviser par n sous-estimerait σ², donc le bon diviseur est 3 et σ² vaut 1,982. »
| xi | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| yi = 1,01 + 2,05xi | 3,06 | 5,11 | 7,16 | 9,21 | 11,26 |
| ri = yi − yi | 1,34 | −1,21 | −0,36 | −1,01 | 1,24 |
Le vrai SE vaut 0,316 : l'estimé se trompe de 41 % vers le haut. Ce n'est pas une erreur de calcul, c'est n = 5. σ² est lui-même une variable aléatoire, très dispersée à 3 degrés de liberté.
Et Σri = 0 se vérifie à l'œil : 1,34 − 1,21 − 0,36 − 1,01 + 1,24 = 0.
La forme : t ~ Student(3) tronc
règles—hypothèsesH0H1H2H3H4
Sous H₀ : β1 = 0, on forme t = β1/SE. Le numérateur est une combinaison linéaire de gaussiennes, donc gaussien : c'est H4, et c'est son seul emploi. Le dénominateur est estimé, donc il fluctue, donc le quotient a des queues plus lourdes qu'une normale : c'est une Student à n − 2 = 3 degrés de liberté.
i.i.d. se sépare. L'indépendance (H3) sert deux fois — à R5 en marche 5, et à la loi du dénominateur ici. L'identique distribution (H2) sert une fois, à factoriser σ². Ce sont deux hypothèses, avec deux emplois.
« Le numérateur est normal par H4, donc le dénominateur estimé fait fluctuer le quotient, donc t a des queues plus lourdes qu'une normale, donc t suit une Student à n − 2 = 3 degrés de liberté ; sans H4 la normale ne revient qu'à grand n, par le TCL. »
| hypothèse | ce qu'elle donne ici | sans elle |
|---|---|---|
| H4 gaussien | Student exacte à 3 ddl | rien d'exact ; TCL à grand n |
| H3 indépendance | σ² indépendant de β1 | le quotient n'est plus une Student |
| ddl = 3 | seuil bilatéral 5 % = 3,18 | 1,96 seulement à n grand |
Le prix des petits échantillons est là : 3,18 contre 1,96, soit 62 % de largeur en plus avant même de parler de SE.
Décider : p-value, seuil, IC
règles—hypothèsesH0H1H2H3H4
Un seul calcul, quatre lectures (p01-02 pas 6) :
Le piège. p = 0,019 est P(|T3| ≥ 4,60 | β1 = 0), une probabilité sur le tirage, sous H₀. Ce n'est ni P(β1 = 0 | données), ni « 98 % de chances que β1 ≠ 0 » : β1 est en colonne FIXE, aucune probabilité ne s'attache à lui.
« Sous H₀ le centre est zéro et la largeur est le SE, donc la p-value est l'aire au-delà de |t|, donc rejeter à α, p < α, |t| > tα et zéro hors de l'IC sont la même inégalité, donc quatre phrases pour un seul calcul, et aucune n'est une probabilité sur β1. »
| lecture | le calcul | verdict |
|---|---|---|
| seuil | |t| = 4,60 > 3,18 | rejet |
| p-value | p = 0,019 < 0,05 | rejet |
| intervalle | IC95 = 2,05 ± 3,18 × 0,445 = [0,63 ; 3,47] | 0 dehors ⇒ rejet |
| largeur | demi-largeur 1,417 | énorme, à n = 5 |
L'IC contient 2, la vraie pente — sans qu'on le sache. Il contient aussi 1 et 3 : rejeter « la pente est nulle » ne veut pas dire « la pente vaut 2,05 ». Le rejet est une conclusion sur zéro, pas sur 2,05.
Le registre : quelle hypothèse casse quoi tronc
règlesR1R2R3R4R5hypothèsesH0H1H2H3H4
C'est le résultat du déroulé, et la réponse à la question d'entretien. Chaque conclusion ne consomme que les hypothèses de sa ligne : casser une hypothèse ne casse que les lignes qui la nomment.
« Chaque conclusion ne consomme que les hypothèses de sa propre ligne, donc casser une hypothèse ne casse que les lignes qui la nomment, donc "quelle hypothèse casse quoi" se lit dans une seule colonne. »
Colonne 2 : ce que la conclusion achète. Colonne 3 : ce qu'elle laisse libre — c'est elle qu'on oublie de dire, et c'est elle qui répond en entretien. Colonne 4 : le contre-exemple à donner.
La dernière ligne est le fil B, posée ici seulement pour être trouvée : « les moindres carrés » et « le maximum de vraisemblance » ne coïncident que sous H4.
| conclusion | consomme | ne consomme pas | ce qui la casse |
|---|---|---|---|
| β1 = β1 + Σwiεi | H0 | tout le reste | modèle faux (non-linéarité) |
| E[β1] = β1 — sans biais | H1 | H2, H3, H4 | variable omise corrélée à x |
| Var(β1) = σ²/Sxx | H2, H3 | H1 (pour la valeur), H4 | hétéroscédasticité, dépendance |
| σ² = RSS/(n − 2) sans biais | H1, H2, H3 | H4 | idem |
| t ~ Student(n − 2) exactement | H4 | — | non-gaussien à petit n ; à grand n, TCL |
| p, seuil, IC | tout ce qui précède | — | multiplicité ; procédure qui regarde le tirage |
| OLS = maximum de vraisemblance | H4 | — | autre loi de bruit ⇒ autre loss (p02-01) |
Le même histogramme qu'en figure 2, mais les bruits sont simulés avec une hypothèse cassée. Clique un bouton : les lignes du registre qui consomment cette hypothèse s'allument, les autres pâlissent. Puis « tirer 500 », et lis le readout — moyenne, écart-type, et surtout la couverture de l'IC95, qui devrait valoir 95 %. H1 déplace le centre (2,50 au lieu de 2,00) sans élargir grand-chose. H2 et H3 cassent la largeur et font tomber la couverture à 88 % et 79 % — et note que H3 rétrécit l'histogramme : la dépendance ne fait pas toujours « plus large », elle fait « plus faux ». H4 ne déplace ni le centre ni la largeur : la couverture reste à 95 %, seules les queues changent. C'est la ligne « t ~ Student exactement » qui tombe, et elle seule.
Le second exemple : 90 % contre 91 %
marches123hypothèsesH0H1H2H3H4
Deux modèles A et B, déjà entraînés, évalués sur le même test set de n lignes : 90 % et 91 %. Les marches 1 à 3 se rejouent telles quelles, sur un autre objet.
Le réflexe qui manque : mettre pA, pB et D dans la colonne aléatoire, et pas seulement « le test set ». Ce sont eux qu'on regarde.
« Les modèles sont figés donc ils sont fixes, donc la seule chose tirée est le test set, donc pA, pB et leur différence sont aléatoires, donc 90 % et 91 % sont deux réalisations et non deux objets. »
| FIXE | ALÉATOIRE | PROCÉDURE |
|---|---|---|
| pA, pB D = pB − pA les deux modèles | le test set ↓ pA, pB ↓ D = pB − pA | tirer n lignes → évaluer A et B dessus → reporter D → conclure |
| 90 % et 91 % : deux réalisations. Aucune colonne. | ||
Test : « si je tirais un autre test set ». pA, pB, D bougent ; pA, pB, D et les deux modèles ne bougent pas.
La suite — pourquoi il faut apparier, et pourquoi l'objet est D et non le couple — est aux pas 2 et 3 de p01-04.
Où ça casse casse
règles—hypothèsesH0H1H2H3H4
Le registre dit ce qui casse dans la chaîne. Reste ce qui casse autour : la procédure elle-même, quand elle n'est plus écrite d'avance.
« La procédure doit être fixée avant le tirage, donc la choisir après avoir vu β1 ou p change la loi de ce qu'elle produit, donc le 5 % annoncé n'est plus le taux réel, donc c'est exactement la panne du biais du max. »
- Choisir H₁ après avoir vu le signe. Décider « unilatéral à droite » parce que β1 est positif met 5 % dans une seule queue alors que le tirage a déjà choisi la queue : le taux de faux positifs réel est de 10 %, pas 5 %. L'unilatéral n'est légitime que décidé avant.
- Relever α après avoir vu p. « p = 0,07, disons 10 % » : le seuil devient fonction du tirage, donc la garantie de 5 % ne porte plus sur rien. Même mécanisme que le biais du max et que b02 : ce qu'on optimise sur le tirage ne se lit plus comme une mesure.
- La multiplicité. Tester dix pentes et rapporter la plus significative : sous H₀ vraie partout, P(au moins un p < 0,05) = 1 − 0,9510 = 40 %. Le nombre de tests fait partie de la procédure, donc il doit être déclaré.
- n = 5. SE = 0,445 contre 0,316 vrai, seuil 3,18 au lieu de 1,96, IC large de 2,83. La chaîne est exacte et la conclusion est fragile : ici rien n'est cassé, c'est simplement ce que cinq points permettent de dire.
Résumé
- Colonnes — FIXE β, σ², x · ALÉATOIRE ε, y, et tous les estimateurs · PROCÉDURE tirer → OLS → t → seuil → reporter. Les nombres tombés ne sont dans aucune colonne.
- Marche 3 — β1 = β1 + Σwiεi, par H0 seule. w = (−0,2 ; −0,1 ; 0 ; 0,1 ; 0,2), Σwiεi = 0,05 ⇒ 2,05.
- Marche 4, le centre — R2, puis R1 + R2, puis H1 : E[β1] = β1. H2, H3, H4 n'ont pas servi.
- Marche 5, la largeur — R3, R5 (H3), R4, H2 : σ²/Sxx = 0,1, SE = 0,316. H1 n'a pas servi.
- Marche 6 — deux contraintes sur les résidus ⇒ σ² = 5,947/3 = 1,982, SE = 0,445 (contre 0,316 vrai).
- Marche 7 — H4 ⇒ t ~ Student(3), seuil 3,18. « i.i.d. » = deux hypothèses, H3 pour additionner, H2 pour factoriser.
- Marche 8 — t = 4,60, p = 0,019, IC = [0,63 ; 3,47] : quatre lectures d'un seul calcul, et aucune n'est une probabilité sur β1.
Chaîne verbalisée — à voix haute, sans support
- Nomme les trois colonnes pour une régression, estimateurs compris.FIXE : β₀, β₁, σ², les x. ALÉATOIRE : ε, donc y, donc β̂₁, β̂₀, σ̂², SÊ, t, p, l'IC. PROCÉDURE : tirer les ε → ajuster par OLS → calculer t → comparer au seuil → reporter.
- Où vont 2,05 et 0,019 ?Nulle part. Ce sont des réalisations, pas des objets : un nombre tombé n'a ni espérance ni variance.
- Quelle hypothèse seule donne le non-biais, et qu'est-ce qui le casse ?H1, E[εᵢ] = 0, et elle seule — R2 puis R1 + R2 font le reste. Ce qui le casse : une variable omise corrélée à x, donc E[ε | X] ≠ 0. Plus de données n'y change rien.
- Quelles hypothèses donnent σ²/S_xx, et pourquoi « i.i.d. » est deux hypothèses ?H3 (indépendance), qui autorise R5 à additionner les variances, et H2 (même σ²), qui autorise à factoriser après R4. L'une sert à additionner, l'autre à factoriser : deux hypothèses, deux emplois, deux façons de casser.
- À quoi sert la normalité, et que fait-on sans elle ?À une seule chose : rendre le numérateur exactement gaussien, donc t exactement Student(n − 2). Sans elle, plus de loi exacte ; la normale revient à grand n par le TCL, et rien ne la rend à n = 5.
- Écris les quatre lectures équivalentes d'un rejet à α.Rejet à α ⇔ p < α ⇔ |t| > t_α ⇔ 0 ∉ IC₁₋α. Un seul calcul, quatre phrases — et aucune n'est P(β₁ = 0 | données), parce que β₁ est en colonne FIXE.
Ponts et cartes
stats::inference (registre des hypothèses, ce que chacune achète) · stats::estimation (non-biais, σ̂², n − 2) · ml::regression-lineaire (β̂₁ = β₁ + Σwᵢεᵢ, σ²/S_xx) · stats::pvalue (les quatre lectures, le piège) · stats::procedure (procédure écrite d'avance).
La carte à fabriquer en sortie de ce déroulé est le registre lui-même : « quelle hypothèse achète quoi », une ligne à la fois.