- Le bruit décide de la loss (p02-01). Poser une loi pour ε, écrire la vraisemblance, passer au −log : un bruit gaussien donne une somme de carrés, un bruit de Laplace une somme de valeurs absolues. Ici on utilise le résultat, on ne le redémontre pas.
- MSE estime la moyenne conditionnelle (p02-01). Le minimiseur de E[(Y − c)²] à x fixé est E[Y | x] ; c'est pour cela qu'une régression aux moindres carrés estime une moyenne, pas une médiane.
- Colonnes et projection (p04-01). Xβ est une combinaison des colonnes de X ; l'ensemble des Xβ est le sous-espace qu'elles engendrent. Le mieux qu'on puisse faire pour approcher y est d'y projeter.
- Covariance et variance empiriques (p00-02). Sxy = Σ(xi − x̄)(yi − ȳ) et Sxx = Σ(xi − x̄)² ; leurs versions divisées par n − 1 sont la covariance et la variance empiriques.
La chaîne
Le décor
Un nuage, une droite. La question n'est pas « quelle droite passe le mieux », qui n'a pas de sens tant qu'on n'a pas dit « le mieux pour quoi ».
La question est : que suppose-t-on pour qu'une droite soit la bonne réponse, et une fois cela posé, laquelle ?
« Tracer une droite dans un nuage ne veut rien dire tant qu'on n'a pas dit ce qu'on modélise, donc on pose d'abord ce que le modèle affirme, donc la droite choisie sera une conséquence et pas un goût. »
| i | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| xi | 1 | 2 | 3 | 4 | 5 |
| yi | 2 | 4 | 5 | 4 | 5 |
x̄ = 3, ȳ = 4. Le nuage monte, mais pas régulièrement : le point 3 est au-dessus, le point 4 en dessous. Tout se jouera sur cinq nombres : Sxy, Sxx, les deux moyennes, et RSS.
Le modèle est une hypothèse sur y sachant x tronc
Écrire Y = β0 + β1X + ε avec E[ε | X] = 0, c'est exactement écrire :
Une moyenne conditionnelle affine (H1) et un reste centré (H2). Rien d'autre. En particulier : rien sur la loi de X, rien sur la forme du nuage en x, rien sur la causalité.
« Le modèle pose la moyenne conditionnelle affine et un bruit centré, donc il ne parle que de Y sachant X, donc les x peuvent être quelconques et même transformés. »
| écriture | linéaire en β ? |
|---|---|
| β0 + β1x + β2x² | oui |
| β0 + β1 log x | oui |
| β0 + β1𝟙[x > 3] | oui |
| β0 eβ1x | non |
« Régression linéaire » ne veut donc pas dire « le nuage est une droite ». Un nuage en cloche s'ajuste par une régression linéaire dès qu'on met x² dans les colonnes.
Et ce que le modèle ne dit pas : la loi des x (ils peuvent être choisis, déséquilibrés, non aléatoires), ni que x cause y.
Pourquoi des carrés
Sous H4, yi | xi ~ 𝒩(β0 + β1xi, σ²). La log-vraisemblance négative s'écrit (p02-01) :
À σ fixé, minimiser en β revient à minimiser la somme des carrés : OLS = MLE. Un bruit de Laplace donnerait Σ|·| — donc la médiane conditionnelle, moins sensible aux grands résidus.
« Le bruit gaussien met le carré dans l'exposant, donc la log-vraisemblance est une somme de carrés au signe près, donc minimiser RSS c'est maximiser la vraisemblance, donc les carrés sont une conséquence de H4 et pas un choix esthétique. »
Sur les cinq points, deux droites, chacune optimale pour son critère :
| droite | Σri² | Σ|ri| |
|---|---|---|
| OLS (2,2 ; 0,6) | 2,4 | 3,2 |
| MAE (3,33 ; 0,33) | 3,67 | 3,0 |
Chacune gagne sur sa colonne et perd sur l'autre. Il n'y a pas de « meilleure droite » dans l'absolu : il y a la droite du critère, et le critère vient de l'hypothèse de bruit.
La forme fermée tronc
RSS(β) = Σ(yi − β0 − β1xi)² est convexe ; annuler son gradient donne deux équations linéaires en β — les équations normales (b06) :
La pente est « covariance sur variance » ; l'intercept est ce qu'il faut pour que la droite passe par le centre du nuage (x̄, ȳ). En matriciel, β = (X⊤X)−1X⊤y, écrit ainsi et calculé par QR (p04-03), jamais en inversant.
« Annuler le gradient d'une somme de carrés donne des équations linéaires en β, donc on résout d'un coup, donc la pente est la covariance sur la variance et l'intercept fait passer la droite par le centre du nuage. »
Sxy = (−2)(−2) + (−1)(0) + (0)(1) + (1)(0) + (2)(1) = 6 · Sxx = 4 + 1 + 0 + 1 + 4 = 10.
Le piège classique. β0 n'est pas ȳ : ici ȳ = 4 et β0 = 2,2. L'intercept est la valeur de la droite en x = 0, pas au centre du nuage. Ce qui vaut ȳ = 4, c'est la droite en x = x̄ = 3 : 2,2 + 0,6 × 3 = 4. Les deux coïncideraient seulement si x̄ = 0, c'est-à-dire sur des x centrés.
Prédictions : 2,8 · 3,4 · 4 · 4,6 · 5,2.
Bouge β0 et β1 à la main. Chaque carré violet a pour côté le résidu du point : son aire est proportionnelle à ri², et RSS est la somme de ces aires. Cherche le minimum au doigt, puis clique droite OLS : la forme fermée y saute d'un coup, sans itérer. Aucune autre droite ne descend sous 2,4.
Les résidus ont une structure
Les deux équations normales sont deux contraintes sur les résidus : Σri = 0 et Σrixi = 0. Autrement dit r est orthogonal aux deux colonnes de X (la colonne de 1 et la colonne des x).
Donc y est la projection orthogonale de y sur le plan des colonnes (p04-01). Deux directions de y sont consommées par l'ajustement : c'est ce qui coûte p + 1 = 2 degrés de liberté (p01-03).
« Annuler les deux dérivées, c'est dire que le résidu est orthogonal à la colonne de 1 et à la colonne des x, donc ŷ est la projection orthogonale de y sur le plan des colonnes, donc deux directions de y sont consommées et il reste n − 2 degrés de liberté pour estimer σ². »
| xi | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| yi | 2,8 | 3,4 | 4 | 4,6 | 5,2 |
| ri | −0,8 | 0,6 | 1 | −0,6 | −0,2 |
Σri = −0,8 + 0,6 + 1 − 0,6 − 0,2 = 0.
Σrixi = −0,8 + 1,2 + 3 − 2,4 − 1 = 0.
Les deux zéros ne sont pas une coïncidence : ce sont les équations qu'on vient de résoudre. Et comme n = 5 avec deux contraintes :
Les carrés amplifient — et c'est la position en x qui décide de combien
β1 est linéaire en y, avec des poids qui ne dépendent que des x :
Un point au bord du nuage a un wi grand : c'est le levier. Un point au centre a wi = 0 et ne peut pas bouger la pente. Le carré, lui, décide qu'on subit ce point : laisser un résidu grand coûte son carré, donc la droite va le chercher au lieu de l'ignorer.
« Chaque y entre linéairement dans la pente, avec un poids qui ne dépend que de sa position en x, donc un point au bord du nuage pèse beaucoup et un point au centre ne pèse rien, donc c'est la position en x qui fixe l'influence, et le carré de la loss décide qu'on la subit. »
Poids : w = (−0,2 ; −0,1 ; 0 ; 0,1 ; 0,2). Leviers hii = (0,6 ; 0,3 ; 0,2 ; 0,3 ; 0,6).
| perturbation | β1 | β0 | RSE |
|---|---|---|---|
| aucune | 0,6 | 2,2 | 0,89 |
| y5 : 5 → 15 (bord, w = 0,2) | 2,6 | −1,8 | 3,58 |
| y3 : 5 → 15 (centre, w = 0) | 0,6 | 4,2 | 5,84 |
Au bord : Δβ1 = 0,2 × 10 = 2, exactement — la pente est multipliée par plus de quatre par un point sur cinq. Au centre, le même écart de 10 laisse la pente strictement inchangée et ne déplace que l'intercept.
La formule juste, à dire ainsi : un point tire la droite proportionnellement à son écart et à son levier (xi − x̄)/Sxx, sans borne — doubler l'écart double la traction, et rien ne l'arrête. La MAE borne l'influence : sa dérivée vaut ±1, donc un point ne pèse jamais plus qu'un autre, si loin soit-il.
Diagnostic : résidus studentisés et levier hii. Remède : Huber, MAE, ou — d'abord — comprendre le point.
Le nuage des cinq points, la droite OLS recalculée à chaque cran, les résidus en pointillé rouge ; la droite fine en violet est l'ajustement d'origine. Monte y5 (le point du bord) : la pente suit, +0,2 par unité. Monte y3 (le point du centre) : la pente ne bouge pas d'un cran, seul l'intercept monte. Même écart, influence opposée — c'est le levier.
R² = 1 − RSS/TSS tronc
Part de la variance de y « expliquée » par la droite, avec TSS = Σ(yi − ȳ)², c'est-à-dire le RSS du modèle qui ne prédit que la moyenne.
Ajouter une colonne ne peut pas faire monter RSS : le témoin « nouveau coefficient = 0 » est atteignable (b02), donc l'optimum fait au moins aussi bien. Donc R² ne baisse jamais, donc il ne juge pas un ajout. Ce qui juge : R² ajusté, AIC, ou la validation (p06-02).
« R² compare RSS à TSS, donc ajouter une colonne ne peut que baisser RSS, donc R² monte toujours, donc il ne compare pas des modèles de tailles différentes. »
Le fil rouge. RSS = 2,4, TSS = 6 ⟹ R² = 0,6.
R² monte pendant que l'ajustement se dégrade. Avec y5 = 15 : RSS = 38,4 mais TSS = 106, donc R² = 0,638 — au-dessus de 0,6 — alors que le RSE passe de 0,89 à 3,58. R² est un rapport : gonfler le dénominateur suffit à le faire monter.
Le bruit pur paie. 30 points, une vraie variable : R² ≈ 0,50 en moyenne. Dix colonnes de bruit indépendant de y en plus : R² ≈ 0,68, R² ajusté ≈ 0,48 — immobile. Le gain moyen par colonne de bruit vaut (1 − R²)/(n − p − 1) ≈ 0,018 : petit, positif, et garanti.
Le même nombre ne vaut pas la même chose. R² = 0,6 sur cinq points et R² = 0,61 sur 200 marchés : c'est le SE de la pente qui les sépare, pas R².
30 points, une vraie variable, puis des colonnes de bruit pur — tirées indépendamment de y, donc sans aucune information. Trois colonnes sont déjà posées à l'ouverture ; clique ajouter une colonne de bruit pour continuer jusqu'à dix. Le R² (bleu) monte à chaque clic, sans exception, tandis que le R² ajusté (violet) ne suit pas : il fluctue autour de sa valeur de départ au lieu de monter. Autre échantillon rejoue le tirage : la montée du R² se reproduit à tous les coups.
Ce que β1 veut dire
Trois précautions, dans cet ordre. En moyenne : β1 est la pente de la moyenne conditionnelle, pas ce qui arrive à un individu. Toutes choses égales : si d'autres colonnes sont dans le modèle, c'est l'effet à ces colonnes fixées. Corrélation : rien dans H1–H4 ne parle de cause.
Deux chiffres accompagnent la lecture, et ils ne disent pas la même chose : le SE dit à quel point β1 est stable d'un échantillon à l'autre (p01-03), le R² dit combien reste inexpliqué.
« β̂₁ est la pente de la moyenne conditionnelle, donc il se lit comme une variation moyenne de Y pour une unité de x en plus, donc toutes choses égales quand d'autres colonnes sont là, donc jamais comme un effet causal sans un dispositif qui le garantisse. »
sales ~ TV (n = 200)| estimation | SE | |
|---|---|---|
| intercept | 7,03 | 0,458 |
| TV | 0,0475 | 0,0027 |
RSE = 3,26 · R² = 0,61. Le budget TV est en milliers de dollars, les ventes en milliers d'unités : mille dollars de TV en plus ⇒ 47,5 ventes en plus, en moyenne.
Ce que le SE dit, et sur quoi. 0,0027 face à une pente de 0,0475 : un rapport de 17,6. L'hypothèse testée porte sur β1, le paramètre — jamais sur β1, qui est ce qu'on a observé. La procédure est celle de p01-03 ; on ne la rejoue pas ici.
Le contraste qui compte. Sur les cinq points : SE(β1) = RSE/√Sxx = 0,894/√10 = 0,283 pour une pente de 0,6 — un rapport de 2,1. Même R², confiance sans commune mesure. Et R² = 0,61 laisse 39 % de la variance des ventes ailleurs : la TV n'explique pas tout.
Où ça casse casse
Chaque hypothèse tombe à sa manière, et chacune laisse une trace différente dans les résidus. C'est pour cela qu'on les regarde avant de lire les coefficients.
« Chaque hypothèse casse d'une manière différente, donc on trace les résidus contre x et contre ŷ avant de lire un coefficient, donc on sait laquelle est tombée : une forme pour H1, un éventail pour H3, un conditionnement pour l'unicité. »
- Non-linéarité (H1 tombe). La moyenne conditionnelle n'est pas affine : β est biaisé, et les résidus tracés contre x montrent une forme (une courbe, un U). Remède : transformer x, ajouter x², ou changer de modèle — pas augmenter n.
- Hétéroscédasticité ou dépendance (H3 tombe). β reste sans biais — H2 suffit — mais les SE sont faux, donc les intervalles et les tests aussi (p01-03). Signature : un éventail des résidus contre y, ou une autocorrélation en série temporelle. Remède : SE robustes, moindres carrés pondérés, modèle de la dépendance.
- Colinéarité. Deux colonnes presque proportionnelles : X⊤X devient singulière ou mal conditionnée, donc β n'est plus unique, ou bouge énormément pour une perturbation minuscule (p04-03). Les prédictions, elles, restent stables. Remède : ridge (p02-02), ou retirer une colonne.
- Extrapolation. La droite n'est ajustée que sur le support des x observés. Hors de ce support, H1 n'a jamais été mise à l'épreuve : l'intervalle de prédiction s'élargit, mais surtout le modèle lui-même n'est plus testé. L'intercept d'Advertising, 7,03, est une valeur en x = 0 alors qu'aucun marché n'a un budget TV nul.
Résumé
- Le modèle est une hypothèse sur Y sachant X : moyenne affine (H1), bruit centré (H2). H3–H4 servent aux SE et au MLE, pas au non-biais.
- Carrés ⇐ gaussien ; valeurs absolues ⇐ Laplace. Le critère sort de l'hypothèse de bruit.
- Forme fermée : β1 = Ĉov/V̂ar, β0 = ȳ − β1x̄ = 2,2 et non 4 ; la droite passe par (x̄, ȳ) ; y est une projection.
- Influence d'un point : wi = (xi − x̄)/Sxx. Au bord, 0,6 → 2,6 ; au centre, rien ne bouge.
- R² ne baisse jamais quand on ajoute une colonne (témoin β = 0) : il ne juge pas un ajout, et il peut monter pendant que l'ajustement se dégrade.
- β1 = effet moyen, toutes choses égales, corrélation. Le SE dit sa stabilité ; R² dit ce qui reste dehors.
Chaîne verbalisée — une prise, à voix haute
- Que suppose Y = β0 + β1X + ε, et sur quoi ?Moyenne conditionnelle affine (H1), bruit centré à x fixé (H2). Uniquement sur Y sachant X : rien sur la loi des x, rien sur la cause. Linéaire en β, pas en x.
- Pourquoi des carrés ?NLL gaussienne : le carré est dans l'exposant, donc OLS = MLE. Laplace donnerait Σ|·|, donc la médiane conditionnelle.
- Écris β1 et β0, et dis d'où ils sortent.β1 = Sxy/Sxx = Ĉov/V̂ar ; β0 = ȳ − β1x̄ — pas ȳ. Gradient nul, équations linéaires en β, donc forme fermée.
- Que fait un outlier, et pourquoi ça dépend d'où il est ?∂β1/∂yi = (xi − x̄)/Sxx. Au bord (w = 0,2) : 0,6 → 2,6. Au centre (w = 0) : pente inchangée. Le carré fait qu'on le suit, le levier dit de combien.
- Pourquoi R² monte toujours ?Témoin β = 0 atteignable : l'optimum avec la colonne en plus fait au moins aussi bien, donc RSS ne peut pas monter. Il peut même monter pendant que le RSE se dégrade (0,6 → 0,638 avec un outlier).
- Comment lis-tu β1 = 0,0475 ?Mille dollars de TV en plus ⇒ +47,5 ventes en moyenne, toutes choses égales, corrélation. SE 0,0027 : stable. R² 0,61 : 39 % restent ailleurs.
Ponts et cartes
ml::regression-lineaire (le modèle porte sur Y | X ; linéaire en β) · ml::ols (forme fermée, β0 = ȳ − β1x̄, QR et non inversion) · ml::r2 (ne baisse jamais ; R² ajusté) · stats::residus (Σr = 0, Σrx = 0, projection, n − 2).
Suite directe : p05-02, la logistique — même charpente, mais la NLL n'est plus une somme de carrés, donc plus de forme fermée.