- D'où vient la pénalité. Ridge = prior gaussien N(0, τ²), lasso = prior de Laplace ; λ = σ²/τ². Ajouter λI translate le spectre de X⊤X sans rien annuler, donc rend le minimum existant et unique même si p > n (p02-02, pas 4 et 5). Ici on ne redérive rien de cela : on en mesure le prix.
- Erreur = biais² + variance + σ². L'erreur de prédiction en un point se découpe en trois termes dont un seul, σ², est irréductible (p06-01, pas 3). Le biais vient de la rigidité, la variance de la sensibilité au tirage du dataset.
- Choisir sur des données non vues. k-fold, et tout ce qui est appris sur les données — standardisation comprise — se refait dans chaque pli (p06-02, pas 6).
- L1 met des zéros exacts. La pente de |θ| est constante jusqu'à 0, celle de θ² s'évanouit : le coude de |θ| est un mur des deux côtés, de force λ (p03-01, pas 8).
- Convention. L'objectif s'écrit ‖y − Xβ‖² + λ·pen(β), loss sans facteur ½. Un ½ déplacerait tous les seuils en λ d'un facteur 2 sans changer le mécanisme.
La chaîne
Le décor : sans biais et inutilisable
Sans pénalité, βOLS est sans biais : en moyenne sur les tirages du dataset, il vise juste. Rien dans cette propriété ne borne l'écart d'un tirage particulier.
Sa variance vaut σ²(X⊤X)−1 : elle explose dès qu'une direction de X est plate — colinéarité, p proche de n.
« L'OLS est sans biais, donc il vise juste en moyenne sur les tirages, donc rien ne borne l'écart d'un tirage donné, donc deux colonnes corrélées reçoivent des coefficients déséquilibrés dont seule la somme est bien estimée. »
n = 50, p = 6, colonnes standardisées, y centré. Vrais coefficients β = (1,5 ; 1,5 ; 0 ; 0 ; 0 ; 0), bruit σ = 1,5. Deux colonnes portent le signal ; x3 et x4 en sont des copies bruitées (x3 ≈ x1, corrélation 0,93 ; x4 ≈ x2, 0,95) et ne portent aucun signal propre ; x5 et x6 sont nulles.
| colonne | vrai β | OLS β | écart-type |
|---|---|---|---|
| x1 forte | 1,5 | 0,775 | 0,63 |
| x3 copie de x1 | 0 | 0,692 | 0,62 |
| x2 forte | 1,5 | 1,862 | 0,67 |
| x4 copie de x2 | 0 | −0,288 | 0,66 |
| x5 nulle | 0 | 0,014 | 0,23 |
| x6 nulle | 0 | 0,557 | 0,22 |
Aucun biais, et pourtant : le signal de x1 fuit à moitié dans sa copie (0,775 et 0,692 pour un vrai 1,5 et un vrai 0), et x2 part à 1,862 pendant que sa copie descend à −0,288. Ce qui est bien estimé, c'est la somme de chaque paire — 1,47 et 1,57 pour une vraie somme de 1,5 — et c'est lisible sur les écarts-types : 0,63 sur un coefficient, 0,22 sur la somme. La somme est trois fois mieux déterminée que ses deux moitiés ; la répartition entre elles est du bruit pur.
Ridge rétrécit, direction par direction tronc
Minimiser ‖y − Xβ‖² + λ‖β‖² donne βλ = (X⊤X + λI)−1X⊤y.
Dans le cas orthonormé (X⊤X = I), une seule coordonnée :
En général, dans la base propre de X⊤X, la direction de valeur propre λi est multipliée par λi/(λi + λ) : rétrécissement fort là où les données informent peu (petit λi), faible là où elles informent beaucoup. C'est le λI du fil B, lu du côté du spectre (p02-02, pas 5 ; p04-02, p04-03).
« La ridge divise chaque direction propre par sa valeur propre plus λ, donc elle rétrécit surtout les directions où les données sont plates, donc elle tue la variance là où elle est la plus grande. »
Valeurs propres de X⊤X sur le jeu fil rouge : 112,2 · 83,2 · 62,7 · 36,2 · 3,2 · 2,4. Les deux dernières directions sont les deux différences x1 − x3 et x2 − x4 — une par paire corrélée : les données n'y disent presque rien. Conditionnement 46,3.
| direction propre | λi | facteur à λ = 10 |
|---|---|---|
| 1 (la plus informée) | 112,2 | 0,918 |
| 2 | 83,2 | 0,893 |
| 3 | 62,7 | 0,863 |
| 4 | 36,2 | 0,784 |
| 5 ≈ x1 − x3 | 3,2 | 0,242 |
| 6 ≈ x2 − x4 | 2,4 | 0,195 |
La ridge laisse les directions informatives à 78–92 % et coupe les deux directions plates à 24 % et 20 %. Résultat : β10 = (0,733 ; 0,956 ; 0,640 ; 0,488 ; −0,003 ; 0,469). La somme de la paire x2/x4 passe de 1,57 à 1,44 (à peine touchée), leur écart de 2,15 à 0,47. Elle rabote exactement ce qui était du bruit, et laisse ce qui était du signal.
Le prix : un biais, et un U tronc
Cas orthonormé, βOLS ~ N(β, σ²). Alors E[βλ] = β/(1 + λ) ≠ β : la ridge est biaisée, et le biais croît avec λ. La variance, elle, est divisée par (1 + λ)².
Un terme monte de 0 à β², l'autre descend de σ² à 0 : la somme est en U. Et λ* = σ²/β² est exactement le σ²/τ² du fil B, avec τ² = β² — le prior qui connaît l'ordre de grandeur de β (p02-02, pas 8).
« Rétrécir tire vers zéro, donc introduit un biais qui croît avec λ, et divise la variance, qui décroît avec λ, donc l'erreur totale a un minimum strictement positif en λ dès que la variance n'est pas nulle. »
| λ | biais² | variance | MSE |
|---|---|---|---|
| 0 (OLS) | 0 | 0,500 | 0,500 |
| 0,25 | 0,040 | 0,320 | 0,360 |
| 0,5 = σ²/β² | 0,111 | 0,222 | 0,333 |
| 1 | 0,250 | 0,125 | 0,375 |
| 2 | 0,444 | 0,056 | 0,500 |
À λ* = 0,5 l'erreur tombe de 0,500 à 0,333, soit −33 %, en acceptant un biais de −1/3 sur un coefficient qui vaut 1. À λ = 2 on a tout rendu : le biais a rattrapé le gain.
Cas orthonormé, β = 1. Le biais² monte, la variance descend, leur somme (le MSE) est en U ; le trait vertical marque le fond, à λ* = σ²/β². Bouge λ : la courbe part sous l'horizontale « OLS » (l'erreur sans pénalité) puis repasse au-dessus. Bouge σ² : plus de bruit, plus de pénalité — le fond glisse vers la droite, et il n'atteint jamais λ = 0.
Il existe toujours un λ > 0 qui bat l'OLS
Ce n'est pas un accident de l'exemple. Dérivons le MSE en λ = 0 :
La pente est strictement négative dès que σ² > 0 : partir de l'OLS et mettre un peu de pénalité fait toujours baisser l'erreur. C'est le théorème de Hoerl-Kennard (1970), vrai en dimension quelconque.
L'objection « mais l'OLS est optimal » confond deux énoncés : Gauss-Markov dit qu'il est de variance minimale parmi les estimateurs sans biais (p05-01). On n'a jamais demandé ça.
« La dérivée du MSE en zéro vaut −2σ², donc elle est strictement négative dès qu'il y a du bruit, donc un petit λ positif fait toujours baisser l'erreur, donc l'OLS n'est optimal que dans la classe des estimateurs sans biais. »
Sur le cas orthonormé. β = 1, σ² = 0,5 : 0,500 → 0,333 (−33 %). La pente en 0 vaut −1 : le premier centième de λ rapporte déjà 0,01.
Sur le jeu fil rouge. Erreur de validation croisée à λ = 0,1 (l'OLS, en pratique) : 3,192. À λ = 7,9 : 2,981. Le minimum n'est pas en 0, il est ailleurs, et on n'a rien fait d'autre que rétrécir.
Le théorème ne dit pas lequel : il garantit que la plage gagnante n'est pas vide, pas qu'on sait où elle est. Trouver λ reste un problème de données (pas 7).
Lasso : le même échange, plus une sélection
Pénalité λΣ|βj|. Cas orthonormé, la solution est un seuillage doux :
Même compromis biais-variance qu'en ridge — mais le coude de |β| en 0 rend les zéros atteignables (p03-01, pas 8 ; p02-02, pas 7), donc une sélection de variables au passage, gratuitement, là où la recherche de sous-ensembles (best subset) serait combinatoire.
Prix de la sélection : entre deux colonnes corrélées, un seul coin du polyèdre suffit — le lasso en garde une, arbitrairement, et le choix bascule d'un tirage à l'autre. La ridge, elle, partage. Elastic net = λ1Σ|βj| + λ2‖β‖² : les zéros du lasso, le partage de la ridge.
« La pénalité L1 tire à force constante jusqu'à zéro, donc un coefficient que les données poussent moins fort que le mur y arrive exactement, donc le lasso sélectionne ; et entre deux colonnes corrélées un seul coin suffit, donc il en garde une, arbitrairement. »
Le jeu fil rouge à λ = 50, sur la paire x2 / x4 (une forte et sa copie, somme vraie = 1,5) :
| x2 | x4 (copie) | somme | non nuls | |
|---|---|---|---|---|
| OLS | 1,862 | −0,288 | 1,57 | 6 |
| ridge | 0,608 | 0,482 | 1,09 | 6 |
| lasso | 1,152 | 0,000 | 1,15 | 4 |
La ridge a rapproché les deux coefficients l'un de l'autre (écart 2,15 à l'OLS, 0,13 à λ = 50) : elle répartit le signal entre la colonne et sa copie, sans trancher. Le lasso a choisi — x4 à zéro exact, tout le signal sur x2 — et met deux coefficients à zéro au passage. Lisibilité contre stabilité : ici les deux colonnes étant presque interchangeables, laquelle le lasso garde ne veut rien dire, et bascule d'un tirage à l'autre.
Le chemin de λ
Plutôt qu'un λ, on trace βλ pour tous les λ de 0 à ∞ : le chemin de régularisation.
Ridge : six courbes lisses, toutes vers 0, aucune ne l'atteint. Lasso : linéaire par morceaux en λ, chaque courbe s'annule à un λ précis et n'en repart plus — l'ordre d'extinction range les colonnes par ce que les données disent d'elles. (Tracé en log λ, comme ci-dessous, les segments s'incurvent : c'est l'échelle, pas le chemin.)
« Le chemin trace tous les λ d'un coup, donc on lit à quelle force de pénalité chaque variable s'éteint, donc l'ordre d'extinction range les colonnes par ce que les données disent d'elles, et il ne dit rien de plus. »
Lasso sur le jeu fil rouge, λ auquel chaque coefficient atteint zéro :
| colonne | vrai β | λ d'extinction |
|---|---|---|
| x6 (nulle) | 0 | 8,5 |
| x5 (nulle) | 0 | 26,4 |
| x6 (nulle) | 0 | 55,5 |
| x3 (copie de x1) | 0 | 63,2 |
| x1 (forte) | 1,5 | 173 |
| x2 (forte) | 1,5 | 185 |
L'ordre est le bon dans les grandes largeurs : les deux fortes partent en dernier. Mais le détail est du bruit de tirage — x4, copie de x2, s'éteint dès 1,5 quand x3, copie de x1, tient jusqu'à 63 ; et x6, pourtant nulle, survit plus longtemps que x3. Sur un autre tirage, l'ordre change. La liste des survivants n'est pas une découverte.
Les six coefficients en fonction de log10 λ ; la légende en haut à gauche nomme les trois paires, et les couleurs sont les mêmes sur les deux graphes. Fais glisser λ : en ridge tout descend ensemble et rien n'atteint zéro ; en lasso les courbes s'éteignent une à une et le compteur de coefficients non nuls tombe. Regarde surtout chaque forte et sa copie — x1/x3 et x2/x4 : la ridge les rapproche l'une de l'autre (l'écart x2 − x4 passe de 2,15 à 0,47 en λ = 10), elle partage le signal sans trancher ; le lasso en sacrifie une, et laquelle est du bruit de tirage.
Choisir λ : la courbe de CV et la règle 1 SE tronc
λ* = σ²/β² ne se calcule pas : on ne connaît ni σ² ni β. On mesure donc le U sur des données non vues.
Grille en log (10−3 à 103) : l'effet de λ est multiplicatif, un cran doit multiplier, pas ajouter. Standardisation refaite dans chaque pli (p06-02, pas 6) : la standardiser une fois sur tout le jeu fait fuir les moyennes du test dans l'entraînement.
Règle « one standard error » : la courbe de CV est elle-même bruitée. On prend non pas le λ du minimum, mais le plus grand λ dont l'erreur reste à moins d'un écart-type-de-la-moyenne du minimum : même performance aux barres d'erreur près, modèle plus rétréci.
« Le λ optimal dépend de quantités inconnues, donc on le choisit sur des données non vues, donc par CV sur une grille en log, et comme la courbe est bruitée, donc on retient le plus grand λ encore dans la marge d'un écart-type. »
| ridge | lasso | |
|---|---|---|
| λ du minimum | 7,94 | 15,9 |
| erreur CV au minimum | 2,981 | 2,822 |
| écart-type de la moyenne | 0,610 | 0,767 |
| seuil « 1 SE » | 3,590 | 3,588 |
| λ1SE | 50,1 | 50,1 |
| erreur en λ1SE | 3,514 | 3,410 |
Six fois plus de pénalité que le minimum, pour 0,53 d'erreur en plus — moins d'un écart-type de la moyenne (0,61). Et les coefficients ridge à λ1SE = 50,1 : (0,54 ; 0,61 ; 0,49 ; 0,48 ; −0,03 ; 0,28). Comparés à l'OLS (0,78 ; 1,86 ; 0,69 ; −0,29 ; …), ils ne retrouvent pas la vérité (1,5 ; 1,5 ; 0 ; 0 ; 0 ; 0) — la ridge répartit le signal entre chaque forte et sa copie au lieu de choisir, et rend les deux paires presque indiscernables. Mais elle prédit mieux : c'est l'échange, et c'est tout ce qu'on lui demandait.
Erreur de validation croisée 5-fold en fonction de log10 λ ; les barres verticales valent ± un écart-type de la moyenne sur les 5 plis (une sur trois, pour rester lisible). La bande rouge marque le λ du minimum, le pointillé horizontal le seuil « minimum + 1 SE », la bande ocre le λ1SE retenu — le plus à droite encore sous le pointillé. Le fond du U est plat : c'est ce qui rend la règle 1 SE bon marché. Bascule ridge / lasso : même U, même règle, un λ différent — les deux échelles de λ ne sont pas comparables. La grille de recherche va de 10−3 à 103, comme le prescrit le pas 7 ; la figure zoome sur la zone où l'erreur bouge, de 10−1 à 101,8 — en deçà la courbe est plate (l'OLS est atteint) et rien ne s'y décide, au-delà elle ne fait que remonter.
« Régulariser, c'est éviter l'overfitting » ne suffit pas
C'est la conséquence, pas le mécanisme. Le mécanisme est l'échange : on paie un biais, on encaisse une baisse de variance, et l'échange est rentable parce qu'une direction privilégiée existe — zéro.
Rétrécir vers 0 n'est une bonne idée que si les vrais coefficients sont modérés : c'est exactement le prior du fil B (p02-02, pas 2). Quand ils sont grands, λ* = σ²/β² s'écrase vers 0 et le gain avec lui.
« Rétrécir vers zéro n'aide que si les vrais coefficients sont modérés, donc la régularisation est un pari sur leur ordre de grandeur, donc le mécanisme est un échange biais contre variance, et la baisse de l'overfitting n'en est que la conséquence. »
Cas orthonormé, σ² = 0,5 fixé, on fait varier le vrai β. Le fond du U vaut σ²β²/(σ² + β²).
| vrai β | λ* | MSE(0) | MSE(λ*) | gain |
|---|---|---|---|---|
| 0,5 | 2,000 | 0,500 | 0,100 | −80 % |
| 1 | 0,500 | 0,500 | 0,333 | −33 % |
| 3 | 0,056 | 0,500 | 0,474 | −5 % |
| 10 | 0,005 | 0,500 | 0,498 | −0,5 % |
Le gain n'est jamais nul (pas 4), mais il s'effondre. En entretien, dire « ça évite l'overfitting » et s'arrêter là ne passe pas : la phrase qui passe nomme le biais, la variance, et le fait que rétrécir vers zéro est un pari.
Où ça casse casse
L'échange suppose que λ pèse la même chose sur chaque colonne, que zéro est une bonne direction, et que λ n'a pas été choisi sur les données qui servent à le juger.
« Chacune des trois hypothèses tient le compromis, donc une colonne mal échelonnée, un vrai β loin de zéro ou un λ réglé sur le test cassent l'échange, donc on standardise dans le pli, on regarde le chemin, et on garde un test intouché. »
- Colonnes non standardisées (H2 tombe). λ‖β‖² pénalise le coefficient, donc l'inverse de l'unité : une colonne en centimes a un coefficient 100 fois plus petit que la même en euros, donc une pénalité 10 000 fois plus faible. Elle traverse la régularisation intacte, l'autre est écrasée. Signature : le chemin de λ où une seule variable survit très loin — et c'est celle qui a la plus grande échelle.
- Intercept pénalisé (H3 tombe). Rien ne justifie de tirer le niveau moyen vers 0 : cela introduit un biais qui dépend de l'unité de y. On centre y et on estime l'intercept à part.
- λ choisi sur le test. Prendre le meilleur λ sur une grille de 60 valeurs et rapporter l'erreur à ce λ sur les mêmes données, c'est le biais du maximum (b02) : on rapporte le minimum de 60 variables bruitées. CV pour choisir, test touché une fois pour rapporter (p06-02, pas 9).
- Vrais coefficients grands et peu nombreux, avec la ridge. Elle rétrécit tout, donc aussi ceux qu'il fallait garder, et ne met jamais à zéro ceux qu'il fallait jeter. Le lasso, ou l'elastic net, sont faits pour ce régime ; la ridge est faite pour « beaucoup de petits effets ».
- Lasso avec p > n. Il ne peut sélectionner au plus n variables — contrainte géométrique, pas un réglage. Et avec des colonnes corrélées le choix est instable d'un tirage à l'autre : ne pas lire la liste des variables retenues comme une découverte. Elastic net stabilise.
Résumé
- L'OLS est sans biais, de variance possiblement énorme. Sans biais n'est pas un optimum en MSE.
- La ridge multiplie la direction propre i par λi/(λi + λ) : biais croissant, variance décroissante, erreur en U. Cas simple : λ* = σ²/β².
- Il existe toujours un λ > 0 qui bat l'OLS : la dérivée du MSE en 0 vaut −2σ² (Hoerl-Kennard).
- Le lasso, c'est le seuillage doux max(0, |β| − λ/2) : même échange, plus une sélection — instable sur les colonnes corrélées, que la ridge partage. Elastic net : les deux.
- λ par CV, grille en log, standardisation refaite dans chaque pli, règle 1 SE (le plus grand λ dans la marge du bruit).
- Le mécanisme est biais contre variance ; « éviter l'overfitting » est la conséquence. Rétrécir vers 0 est un pari sur l'ordre de grandeur de β.
Chaîne verbalisée — une prise, à voix haute
- Que fait la ridge à βOLS dans le cas orthonormé ?Elle le divise par 1 + λ. En général, elle multiplie la direction propre i par λi/(λi + λ) : fort là où les données sont plates.
- Quel est le prix, quel est le gain ?Biais² = (λ/(1+λ))²β², croissant ; variance = σ²/(1+λ)², décroissante. Somme en U, minimum en λ* = σ²/β².
- Pourquoi un λ > 0 bat-il toujours l'OLS ?La dérivée du MSE en λ = 0 vaut −2σ² < 0 (Hoerl-Kennard). L'OLS n'est optimal que parmi les estimateurs sans biais — on n'a jamais demandé ça.
- Ridge contre lasso sur deux colonnes corrélées ?La ridge partage (0,61 et 0,48 sur la paire x₂/x₄ du jeu fil rouge, à λ = 50, contre 1,86 et −0,29 à l'OLS) ; le lasso en garde une, arbitrairement, et le choix bascule d'un tirage à l'autre. Elastic net stabilise.
- Comment choisit-on λ ?CV sur une grille en log, standardisation refaite dans chaque pli, et règle 1 SE : le plus grand λ dont l'erreur reste à moins d'un écart-type de la moyenne du minimum.
- Pourquoi « régulariser pour éviter l'overfitting » ne suffit-il pas ?C'est la conséquence. Le mécanisme est l'échange biais contre variance, rentable parce que rétrécir vers 0 est une bonne direction quand les vrais coefficients sont modérés — c'est le prior.
Ponts et cartes
ml::ridge (rétrécissement par direction propre, λ* = σ²/β², Hoerl-Kennard) · ml::lasso (seuillage doux, sélection, instabilité sur les corrélées) · ml::regularisation (grille en log, standardisation dans le pli, règle 1 SE) · ml::biais-variance (le U, et le fait que son fond n'est jamais en λ = 0).
Les cartes Ridge = gaussien, Lasso = Laplace et gradient de L1 sont acquises : cette chaîne les réemploie au pas 5 sans les redémontrer.
Une carte qui résiste après cette chaîne est une carte à refondre, pas une section à relire.