- Le modèle et les deux formules fermées. Y = β0 + β1X + ε ; les moindres carrés donnent β1 = Ĉov(x,y) / V̂ar(x) et β0 = ȳ − β1x̄ — jamais ȳ tout seul : la droite passe par (x̄, ȳ), pas par (0, ȳ) (p05-01).
- Les trois colonnes et le SE. Fixe (le paramètre) · aléatoire (ce qui est tiré, et l'estimateur qui en descend) · procédure (la recette). Le SE est la largeur de la distribution d'échantillonnage, donc une propriété de la procédure (p01-01, pas 5).
- Le plug-in. Quand une formule de SE contient le paramètre inconnu, on y substitue son estimateur ; l'erreur commise est d'un ordre en dessous (p01-01, pas 6). Ici le paramètre à remplacer n'est pas la pente, c'est σ.
- H₀, la p-value, l'IC. H₀ fixe le centre de la distribution de l'estimateur, le SE en fixe la largeur ; 0 ∉ IC95 ⟺ |t| > seuil ⟺ p < 0,05 (p01-02, pas 6). Cette chaîne ne refait pas ce raisonnement : elle lui fournit le SE et le quantile.
- Notation. Chapeau sur tout ce qui se calcule sur les données — β1, σ, SE ; rien sur β1 et σ, qui sont des paramètres. On conditionne sur les x (c'est H2), jamais sur les paramètres : p(y | x ; β, σ), avec un point-virgule.
La chaîne
Le décor : une seule colonne aléatoire
Refaire l'expérience, ici, ne veut pas dire retirer un échantillon de lignes : les 200 budgets TV sont ceux du plan, ils ne bougent pas (H2). Ce qui aurait été autre, c'est le vecteur des bruits.
Mêmes x, autres ε ⇒ autres y ⇒ autre droite ⇒ autre pente. La colonne aléatoire de p01-01 n'a donc qu'une entrée : ε.
« Les x sont fixés et le modèle est fixe, donc la seule chose qui change d'une expérience à l'autre est le vecteur des bruits, donc les y en héritent, donc la pente estimée est une variable aléatoire. »
| fixe | aléatoire | procédure |
|---|---|---|
| β0, β1, σ les 200 budgets TV n = 200, p = 2 paramètres | ε (seule entrée) ↓ y ↓ β1 = 0,0475 | ajouter ε au modèle → poser la droite des moindres carrés → lire sa pente |
Sur les données : x̄ = 147,04 (milliers de $ de TV), ȳ = 14,02 (milliers d'unités vendues), d'où
La constante n'est pas ȳ = 14,02 : c'est ȳ ramené en x = 0 le long de la pente. Deux nombres, deux paramètres : d'où le p = 2 qui reviendra au pas 3.
La pente est linéaire dans les bruits tronc
β1 est une combinaison linéaire des yi à poids fixés. En y injectant le modèle, les β ressortent et il ne reste que les bruits :
Les deux étages de p01-01 s'appliquent : espérance linéaire, puis variances qui s'ajoutent sous indépendance avec un carré sur chaque poids.
« β1 est une combinaison linéaire des yi, donc en injectant le modèle on obtient β1 plus une combinaison des bruits, donc l'espérance est β1 et la variance σ²Σwi² = σ² sur l'étalement des x. »
Trois identités des poids, à vérifier une fois et à ne plus revérifier : Σwi = 0, Σwixi = 1, Σwi² = 1/Sxx avec Sxx = Σ(xi − x̄)².
La première donne le non-biais, la troisième la variance. Non biaisé sous H1 seulement — pas besoin de H3 : la gaussianité ne sert à rien ici.
| fil rouge | valeur |
|---|---|
| Sxx = Σ(xi − x̄)² = 199 × 85,85² | 1 466 829 |
| √Sxx | 1 211,1 |
| σ / √Sxx (si σ = 3,26 était connu) | 0,00269 |
Ce nombre est déjà le SE affiché, à ceci près qu'on vient d'utiliser un σ qu'on n'a pas. C'est tout l'objet du pas suivant.
Chaque tirage refait une expérience entière : les 200 x ne bougent pas, les 200 bruits sont retirés dans N(0 ; 3,26²), la droite est réajustée et sa pente tombe dans l'histogramme. Le trait bleu est β1 = 0,05, fixe ; le trait rouge est la moyenne des tirages. Tire 500 fois : la moyenne colle à 0,05 (non-biais du pas 2) et l'écart-type de l'histogramme rejoint le SE théorique σ/√Sxx affiché sous la figure — c'est la même largeur, nommée deux fois.
Le bruit est inconnu : σ² = RSS/(n − p)
On n'observe pas les εi mais les résidus ri = yi − yi. Or l'ajustement les a rabotés : les moindres carrés imposent p = 2 équations linéaires, Σri = 0 et Σrixi = 0.
Les résidus vivent donc dans un sous-espace de dimension n − p : ils sont systématiquement plus petits que les bruits. Diviser par n − p — le nombre de directions qui leur restent — corrige exactement.
« L'ajustement impose p équations linéaires aux résidus, donc ils n'ont plus que n − p degrés de liberté, donc RSS divisée par n − p est sans biais pour σ². »
Fil rouge : RSS = 2 102,6 sur n − p = 198, d'où σ² = 10,62 et σ = 3,26 — c'est le residual standard error de la sortie logicielle, rien d'autre.
n − 1 n'est pas une autre règle. C'est n − p avec p = 1 : estimer une variance autour de x̄, c'est ajuster un seul paramètre, donc imposer une seule contrainte Σri = 0.
| on ajuste | p | diviseur | nom courant |
|---|---|---|---|
| une moyenne | 1 | n − 1 | Bessel |
| une droite (pente + constante) | 2 | n − 2 = 198 | RSE |
| p coefficients | p | n − p | — |
Amplitude de la correction : E[RSS/n] = σ²(n − p)/n. Sur le fil rouge, diviser par 200 au lieu de 198 donnerait σ = 3,24 — 0,5 % de biais, invisible. À n = 5 et p = 1, c'est 20 % de biais sur la variance : la correction n'est pas une coquetterie, c'est juste qu'elle s'efface quand n est grand.
Le SE : plug-in de σ dans la variance
La variance du pas 2 contient σ, inconnu. Même geste qu'en p01-01 : on y substitue l'estimateur du pas 3.
Deux leviers, deux seulement : le bruit au numérateur, l'étalement des x au dénominateur. Noter l'absence de n : il n'agit qu'à travers Sxx, qui grandit avec le nombre de points — ajouter un point à x = x̄ n'apporte rien à la pente.
« La variance de la pente est σ² sur l'étalement des x, donc on y substitue σ qu'on sait calculer, donc le SE est σ divisé par la racine de Σ(xi − x̄)², donc pour resserrer l'intervalle sans collecter plus de points on écarte les x — jamais un point de plus à x̄. »
Affiché 0,0027 dans la sortie. Ce que chaque levier ferait, toutes choses égales par ailleurs :
| on change | effet sur SE |
|---|---|
| σ × 2 (données deux fois plus bruitées) | × 2 |
| 4 × plus de points, même plage de x | ÷ 2 (Sxx × 4) |
| plage des x divisée par 7, même n | × 7 |
| un point de plus en x = x̄ | inchangé |
C'est aussi la règle de conception d'une expérience : pour une pente, on ne collecte pas plus de points au même endroit, on écarte les x.
Un même bruit σ = 3,26, une même droite vraie bleue y = 7 + 0,05x, 40 points. Les sept droites ambre sont sept ajustements sur sept tirages de bruits fixés une fois pour toutes : seul l'étalement des x change quand tu bouges le curseur. À gauche de la course (x concentrés) les droites pivotent violemment autour du centre du nuage ; à droite (x étalés) elles se confondent. Le readout Sxx et le SE suivent : × 7 sur l'étendue, ÷ 7 sur le SE. Regarde aussi les bords du cadre — c'est loin de x̄ que les droites plausibles s'écartent le plus, ce qui est le pas 7 sur l'extrapolation, vu ici.
Le quotient suit une Student à n − p degrés de liberté tronc
Sous H3, si σ était connu, le rapport (β1 − β1)/(σ/√Sxx) serait exactement N(0,1) : une normale divisée par une constante.
Mais le dénominateur contient σ, qui fluctue lui aussi d'un échantillon à l'autre. Les tirages où σ tombe un peu bas produisent un quotient nettement plus grand : la loi du rapport a des queues plus lourdes qu'une normale. Sa forme ne dépend que des degrés de liberté de σ², c'est-à-dire n − p.
« Le numérateur est normal, donc le dénominateur est une estimation de σ qui fluctue, donc le quotient a des queues plus lourdes qu'une normale, donc c'est une Student dont les degrés de liberté sont ceux de σ², c'est-à-dire n − p. »
Le prix se lit de deux façons : le seuil bilatéral à 5 % s'éloigne, et l'aire réellement laissée au-delà de ± 1,96 dépasse 5 %.
| n − p | seuil 5 % bilatéral | aire au-delà de ± 1,96 |
|---|---|---|
| 2 | 4,303 | 18,9 % |
| 5 | 2,571 | 10,7 % |
| 30 | 2,042 | 5,9 % |
| 198 | 1,972 | 5,1 % |
| ∞ (normale) | 1,960 | 5,0 % |
À 198 degrés de liberté, Student et normale sont à 0,6 % l'une de l'autre : le fil rouge aurait donné la même décision avec 1,96. La distinction ne se paie que sur les petits échantillons — et c'est n − p qui compte, pas n : vingt observations et quinze coefficients, c'est 5 degrés de liberté, donc un seuil à 2,571.
La normale centrée réduite ne bouge jamais ; la Student se déforme avec le curseur. À 2 ou 5 degrés de liberté elle est plus basse au centre et plus épaisse aux extrémités : le trait rouge pointillé, qui marque son seuil bilatéral à 5 %, est nettement plus loin que le 1,96 de la normale. Pousse le curseur jusqu'à 198 — la valeur du fil rouge : les deux courbes se superposent et les deux seuils se rejoignent. Le readout « aire au-delà de ± 1,96 » dit ce que coûte l'erreur : croire au 1,96 avec 5 degrés de liberté, c'est prendre un risque de 10,7 % en croyant en prendre un de 5 %.
Lecture de la sortie : 17,67, 198, et l'intervalle
Tout est en place pour rejouer p01-02 à l'identique, en remplaçant simplement « normale et 1,96 » par « Student(n − p) et son quantile ».
H₀ : β1 = 0 fixe le centre ; le SE fixe la largeur ; t compte combien de SE séparent la pente estimée de zéro ; la p-value est l'aire au-delà, et l'IC95 est la même distance posée autour de β1.
« H₀ fixe le centre à zéro, donc t compte les SE qui séparent la pente estimée de zéro, donc l'aire au-delà se lit dans une Student à n − p degrés de liberté, donc la p-value et l'intervalle sortent tous deux du même quantile 1,972. »
Piège d'arrondi. Avec les valeurs imprimées, 0,0475/0,0027 donne 17,59 : le 17,67 est calculé sur les valeurs non arrondies. Deux décimales affichées ne suffisent jamais à reproduire un t.
| sortie | valeur | lecture |
|---|---|---|
| β1 | 0,0475 | un tirage de la distribution |
| SE | 0,0027 | σ/√Sxx, la largeur |
| t | 17,67 | 17,67 largeurs entre 0 et la pente |
| p | < 10⁻³⁰ | aire bilatérale sous Student(198) |
Métier : 1 000 $ de TV en plus ⇒ environ 47,5 unités vendues en plus, et l'intervalle annonce une plage de 42 à 53. C'est l'intervalle, jamais la p-value, qui porte cette échelle.
Où ça casse casse
Séparer deux choses que la sortie mélange : ce qui rend la pente fausse, et ce qui rend son SE faux. Ce ne sont pas les mêmes hypothèses.
« β1 reste sans biais tant que E[ε|x] = 0, donc l'hétéroscédasticité et la dépendance n'abîment que la variance, donc le SE, donc t, la p-value et l'intervalle ensemble ; et un SE juste ne dit toujours rien du domaine où le modèle vaut. »
- Hétéroscédasticité. Si Var(ε|x) dépend de x, H1 tombe et le σ² unique de la formule n'existe plus : σ²/Sxx n'est plus la variance de la pente. β1, lui, reste sans biais — c'est E[ε|x] = 0 qui le porte. Le remède porte sur la variance, pas sur la pente : des erreurs standard robustes à l'hétéroscédasticité, qui remplacent le σ² commun par les résidus point par point. Même estimateur, autre estimateur de sa largeur.
- Bruits dépendants. Séries temporelles, mesures répétées sur le même sujet : les variances ne s'additionnent plus (le Σwi² du pas 2 oublie les covariances croisées). Sous dépendance positive — le cas courant — le SE calculé est trop petit, donc t trop grand et la p-value trop belle. C'est le mécanisme de la dépendance entre lignes de p01-01, transposé aux bruits.
- Bruits non gaussiens à petit n. H3 tombe : t n'est plus exactement Student, et le seuil lu dans la table est faux — d'autant plus que n − p est petit, c'est-à-dire là où la table comptait le plus. À grand n, le TCL ramène la normale, que la Student rejoint de son côté : le problème se dissout tout seul.
- Extrapolation. Un SE décrit l'incertitude sur la pente sous le modèle, pas la validité du modèle hors du support des x observés. Rien dans 0,0027 ne signale qu'aucun budget TV du jeu ne dépasse 300. La figure 2 le montre : c'est loin de x̄ que les droites plausibles divergent le plus, et au-delà du nuage on n'a même plus de droites plausibles à comparer.
Résumé
- L'aléa d'une régression, c'est ε — les x sont fixés. Et β1 = β1 + Σwiεi : linéaire dans les bruits, donc sans biais.
- Var(β1) = σ²/Σ(xi − x̄)² : bruit sur étalement des x. n n'agit qu'à travers le dénominateur.
- σ² = RSS/(n − p) : l'ajustement impose p contraintes aux résidus, il leur reste n − p degrés de liberté. Le n − 1 de Bessel est le cas p = 1.
- SE = σ/√Σ(xi − x̄)², par plug-in. Fil rouge : 3,26/1 211 = 0,0027.
- t = β1/SE suit une Student(n − p) parce que le dénominateur est estimé ; queues plus lourdes, seuil 1,972 à 198 ddl, → normale quand n − p grandit.
- Le reste est p01-02 à l'identique : t = 17,67, IC95 = [0,0422 ; 0,0528], même quantile des deux côtés.
- Homoscédasticité et indépendance conditionnent le SE, pas le non-biais ; l'extrapolation n'est dans aucun des deux.
Chaîne verbalisée — une prise, à voix haute
- Qu'est-ce qui est aléatoire dans un nuage de régression ?Les bruits ε, et eux seuls : les x sont fixés (H2). Les y en descendent, donc β̂₁ aussi. Une seule entrée dans la colonne aléatoire.
- Écris β̂₁ en fonction de β₁ et des bruits, et conclus.β̂₁ = β₁ + Σwᵢεᵢ avec wᵢ = (xᵢ − x̄)/Σ(xⱼ − x̄)². Donc E[β̂₁] = β₁ (sans biais) et Var(β̂₁) = σ²Σwᵢ² = σ²/Σ(xᵢ − x̄)².
- Pourquoi RSS/(n − p) et pas RSS/n ?L'ajustement impose p contraintes linéaires aux résidus (Σrᵢ = 0, Σrᵢxᵢ = 0) : il leur reste n − p degrés de liberté. E[RSS/n] = σ²(n − p)/n, biaisé ; diviser par n − p corrige exactement. Le n − 1 de Bessel, c'est p = 1.
- Comment resserrer l'IC de la pente sans collecter plus de requêtes ?Augmenter Σ(xᵢ − x̄)² : choisir les x pour couvrir la plage, beaucoup de très petits et de très gros, pas un tas au centre. Puis, seulement, réduire σ̂ en contrôlant les sources de bruit.
- Pourquoi une Student et pas une normale, et à combien de degrés de liberté ?Parce que le SE du dénominateur est estimé et fluctue : le quotient a des queues plus lourdes. Les degrés de liberté sont ceux de σ̂², soit n − p = 198. Seuil 1,972 au lieu de 1,960 ; à petit ddl l'écart explose (2,571 à 5 ddl).
- Que casse l'hétéroscédasticité, et que ne casse-t-elle pas ?Elle casse le SE — donc t, la p-value et l'IC ensemble — parce que le σ² unique n'existe plus. Elle ne casse pas le non-biais de β̂₁, qui tient à E[ε|x] = 0. Remède : des erreurs standard robustes, qui changent la largeur, pas la pente.
Ponts et cartes
stats::inference (t = estimateur / SE estimé, ddl = n − p, Student → normale) · stats::estimation (plug-in de σ̂, non-biais sous E[ε|x] = 0) · ml::regression-lineaire (SE d'une pente, β̂₀ = ȳ − β̂₁x̄, RSE) · stats::bessel (n − 1 comme cas p = 1 de n − p).
La carte qui demande « pourquoi Student » se répond par une phrase et une seule : le dénominateur est estimé. Si elle résiste encore, c'est le pas 5 qu'il faut relire, pas la carte.