- Le geste en six pas (p02-01) : densité → produit → log → négatif → jeter → nommer. Il produit la NLL. Ici on ne le redéroule pas : on le rejoue sur un deuxième objet, le prior, et on additionne.
- Bayes (p00-03) : p(β | D) = p(D | β) p(β) / p(D), donc p(β | D) ∝ L(β) p(β) à données fixées : le dénominateur ne dépend pas de β et ne déplace aucun argmax.
- Valeurs propres (p04-02) : si Av = μv alors (A + λI)v = (μ + λ)v. Mêmes vecteurs propres, spectre décalé. Une matrice symétrique est inversible si et seulement si aucune valeur propre n'est nulle.
- Les calculs sont faits ailleurs. Le déroulé D4 refait les marches 8 à 11 ligne à ligne sur ce même jeu colinéaire. Ici on garde les règles, les chiffres d'arrivée et les points d'arrêt.
La chaîne
Le décor
La vraisemblance ne détermine pas toujours un β, et elle échoue de deux façons opposées : trop de solutions, ou aucune. Colinéarité parfaite : une droite entière de β donne exactement le même RSS. Séparation parfaite : la NLL décroît vers 0 sans jamais l'atteindre.
Dans les deux cas il manque un critère. Comme la loss au pas 1 de p02-01, il ne va pas se décréter : il va se déduire.
« La vraisemblance seule laisse une droite entière de solutions ou n'en laisse aucune, donc il manque un critère, donc on ne va pas l'inventer mais le déduire d'une seconde hypothèse. »
Colinéaire : x1 = (1, 2, 3), x2 = (2, 4, 6) = 2x1, y = (1, 2, 3), modèle f = β1x1 + β2x2.
Rang 1 : toute la droite s = β1 + 2β2 = 1 a RSS = 0.
| β1 | β2 | s | RSS | ‖β‖² |
|---|---|---|---|---|
| 1 | 0 | 1 | 0 | 1 |
| 3 | −1 | 1 | 0 | 10 |
| −1 | 1 | 1 | 0 | 2 |
| 0,2 | 0,4 | 1 | 0 | 0,2 |
La solution n'est pas instable, elle est non identifiable. Même mécanisme dès que p > n : le rang de X⊤X vaut au plus n < p, donc au moins une valeur propre est nulle, donc une infinité de solutions. Une seule brique à retenir : valeur propre nulle ⇒ pas d'unicité.
Séparable : x = (−2, −1, 1, 2), y = (0, 0, 1, 1), p = σ(βx). NLL(β) = 2 log(1 + e−β) + 2 log(1 + e−2β), strictement décroissante : β n'existe pas.
Le prior sur β tronc
On pose une loi sur β avant de voir les données. Bayes retourne alors la vraisemblance en une loi sur le paramètre :
La barre change de statut. En fréquentiste on écrivait p(y | x ; θ), point-virgule, parce que θ était fixe. Ici β est une variable aléatoire : p(β | D) est un vrai conditionnement, et c'est le posterior.
« Le prior est une hypothèse sur le monde, donc il est discutable et remplaçable, donc il n'est pas un artifice. »
| prior | densité | ce qu'il dit |
|---|---|---|
| N(0, τ²) | ∝ exp(−β²/(2τ²)) | les coefficients sont modérés, centrés sur zéro, aucun n'est exactement nul |
| Laplace(0, τ) | ∝ exp(−|β|/τ) | la plupart sont proches de zéro, quelques-uns sont francs |
τ est la largeur de la croyance : τ grand = « je ne sais pas grand-chose » ; τ petit = « je suis sûr qu'ils sont petits ». Le prior ne parle jamais des données, seulement du monde d'où elles viennent.
−log prior → pénalité
Maximiser le posterior, c'est minimiser son −log. Le produit devient une somme : la NLL, plus le −log du prior. Le geste des pas 4–6 de p02-01, appliqué à β au lieu de y.
C'est Ridge, et il n'a pas été choisi : il est tombé. Le facteur 2σ², constant, ne déplace pas l'argmin.
« Le MAP minimise la NLL plus le moins log du prior, donc un prior gaussien ajoute un terme quadratique, donc c'est L2 avec λ = σ²/τ². »
λ = σ²/τ² est un rapport de variances : bruit des données sur largeur de la croyance.
| σ² | τ² | λ | lecture |
|---|---|---|---|
| 1 | 100 | 0,01 | prior large, données propres : on écoute les données |
| 1 | 1 | 1 | à égalité |
| 4 | 0,25 | 16 | bruit fort ou prior étroit : on croit le prior |
Prior de Laplace, même geste : −log p(β) = ‖β‖1/τ + cste, et en multipliant par 2σ² on obtient argmin [ RSS + λ‖β‖1 ] avec λ = 2σ²/τ. C'est le Lasso. Rien d'autre n'a changé que la densité du prior.
λ → 0 redonne le maximum de vraisemblance ; λ → ∞ écrase β vers 0, c'est-à-dire vers le prior seul.
Ce que la pénalité fournit tronc
Le RSS est constant sur la droite des solutions ; λ‖β‖² ne l'est pas. Un seul point survit : la pénalité fournit l'unicité.
Sous séparation, la NLL descend vers 0 sans l'atteindre pendant que λβ² monte vers +∞ : la somme redescend puis remonte, donc elle a un minimum. La pénalité fournit l'existence.
Dans les deux cas elle tranche là où les données ne tranchent pas. Le gain en test vient ensuite, par la variance ; ce n'est pas le mécanisme.
« Là où les données ne tranchent pas, la pénalité tranche, donc elle rend la solution unique ou existante, donc l'amélioration en test est une conséquence et non le mécanisme. »
Unicité. Paramétrons la droite : (β1, β2) = (1 + 2t, −t). Alors
Parabole, un minimum, en t = −0,4 → β = (0,2 ; 0,4), de norme ‖β‖² = 0,2 et ‖β‖2 = 0,447. Les trois autres lignes du tableau du pas 1 valent 1, 10 et 2 : elles perdent toutes.
Existence. Sur le jeu séparable, argmin [NLL(β) + λβ²] existe dès que λ > 0 :
| λ | 0,01 | 0,1 | 1 |
|---|---|---|---|
| β | 3,41 | 1,85 | 0,71 |
Même λ = 10−6 suffit : il ne change rien près de l'origine, il bloque seulement la fuite à l'infini. La pénalité ne rend pas la solution meilleure, elle la fait exister.
Le plan (β1, β2). La droite rouge est l'ensemble des solutions à RSS = 0 : les données n'ont rien d'autre à dire. Gonfle le rayon : le cercle L2 touche la droite le premier à r = 0,447, en (0,2 ; 0,4) — deux coordonnées non nulles ; le losange L1 touche à r = 0,5, par un sommet posé sur l'axe, en (0 ; 0,5) — une coordonnée exactement nulle. Le premier contact est le point de la droite de plus petite norme : c'est lui que la pénalité choisit.
Le jeu séparable. La NLL seule descend vers 0 sans jamais l'atteindre : aucun minimum, β fuit. Ajoute la pénalité λβ² : la somme remonte, et le minimum apparaît. Mets λ à 0 puis remonte-le d'un cran : c'est le passage de « pas de solution » à « une solution ». Baisse ensuite λ : β part vers la droite — 3,41 à λ = 0,01, et rien ne l'arrête à λ = 0.
+λI translate, n'annule pas tronc
Côté matrice, Ridge remplace X⊤X par X⊤X + λI. Les vecteurs propres ne bougent pas, le spectre se décale en bloc :
La valeur propre 0 devient λ, 70 devient 70 + λ. Toutes strictement positives ⇒ la matrice est inversible ⇒ la forme fermée existe à nouveau.
Rien n'est annulé. La direction propre plate n'est pas supprimée : elle est relevée, juste assez pour qu'un minimum unique s'y trouve. Ce sont les coefficients que L1 annule, au pas suivant — autre objet, autre mécanisme.
« Ajouter λI ajoute λ à chaque valeur propre, donc la valeur propre nulle devient λ, donc la matrice devient inversible, donc la forme fermée existe à nouveau. »
λ = 1 : la matrice vaut [[15, 28], [28, 57]], déterminant 855 − 784 = 71 = 1 × 71, le produit des deux valeurs propres.
| λ | petite v.p. | grande v.p. | conditionnement | β |
|---|---|---|---|---|
| 0 | 0 | 70 | ∞ — non inversible | toute la droite |
| 0,01 | 0,01 | 70,01 | 7 001 | (0,200 ; 0,400) |
| 1 | 1 | 71 | 71 | (0,197 ; 0,394) |
| 10 | 10 | 80 | 8 | (0,175 ; 0,350) |
En forme fermée : β = (1/5)·(70/(70 + λ))·(1, 2). Le rapport β2/β1 reste exactement 2 quel que soit λ : le signal X⊤y = 14·(1, 2) vit entièrement dans la direction propre non nulle, et Ridge ne fait qu'y rétrécir. Quand λ → 0, on retrouve (0,2 ; 0,4) : le point de norme minimale de la figure 1.
en haut : la grande valeur propre · en bas : la petite, sur son propre axe
Les deux valeurs propres de X⊤X + λI en fonction de λ. Deux droites de pente 1, l'une partant de 70, l'autre de 0 — d'où les deux axes séparés, sans quoi la seconde serait collée au bord. Fais glisser λ : la petite valeur propre vaut exactement λ. Elle quitte 0 dès le premier cran et ne le rejoint plus : translation, pas annulation. Le déterminant λ(70 + λ) et le conditionnement (70 + λ)/λ suivent : à λ = 0 le premier est nul et le second infini, c'est la même phrase dite trois fois.
L1 tranche ailleurs
Prior de Laplace ⇒ pénalité ‖β‖1 ⇒ Lasso. Même rôle qu'au pas 4 — trancher sur la droite plate — mais le point choisi change.
Géométrie. Gonfler la pénalité jusqu'au premier contact avec la droite, c'est gonfler sa boule. La boule L2 est ronde : elle touche n'importe où, et presque jamais sur un axe. La boule L1 est un losange dont les sommets sont posés sur les axes : une droite générique la rencontre d'abord par un sommet, donc avec une coordonnée exactement nulle.
Lu en pente plutôt qu'en géométrie, c'est le même fait : pente de |β| constante jusqu'à 0, pente de β² qui s'évanouit — p03-01, habit 3.
« La boule L1 a ses sommets sur les axes, donc le premier contact avec la droite des solutions tombe sur un sommet, donc une coordonnée est exactement nulle, donc L1 sélectionne là où L2 répartit. »
Sur la droite (1 + 2t, −t) : ‖β‖1 = |1 + 2t| + |t|, qui vaut 1 + t sur [−0,5 ; 0] — décroissante jusqu'au bord. Minimum en t = −0,5 → β = (0 ; 0,5), valeur 0,5.
| prior | pénalité | point choisi | lecture |
|---|---|---|---|
| gaussien | ‖β‖² | (0,2 ; 0,4) | répartit entre les deux features colinéaires |
| Laplace | ‖β‖1 | (0 ; 0,5) | en éteint une, garde l'autre |
Le zéro exact, en forme fermée. Design orthonormal, critère ½(β − b)² + λ·pen(β) avec b l'estimation non pénalisée :
b = 0,8 : à λ = 0,5, L2 donne 0,533 et L1 donne 0,300 ; à λ = 1, L2 donne 0,400 et L1 donne 0, exactement. Le seuillage doux : L1 soustrait λ puis s'arrête à zéro, L2 divise et n'y arrive jamais.
Elastic Net additionne les deux pénalités pour garder les zéros tout en stabilisant les groupes de features corrélées ; le chemin complet de λ est l'objet de p05-03.
Le λ réel, celui qu'on règle
On ne connaît ni σ² ni τ² : λ ne se calcule pas, il se choisit, par validation croisée sur une grille logarithmique.
Deux statuts à ne pas confondre. L'équivalence des formules — pénalité L2 = −log d'un prior gaussien — est un fait, vrai ligne à ligne. L'interprétation bayésienne est une lecture : elle explique la forme de la pénalité, pas la valeur de λ.
« σ² et τ² ne sont pas observables, donc λ ne se calcule pas et se choisit par validation croisée, donc la lecture bayésienne donne la forme de la pénalité et la CV en fixe la force. »
- Standardiser d'abord. ‖β‖² dépend des unités : passer une longueur de mètres en millimètres divise son coefficient par 1 000 et le rend invisible à la pénalité. Centrer-réduire sur le train seul, à l'intérieur de la CV.
- Ne pas pénaliser l'intercept. Il n'a aucune raison d'être proche de zéro : le tirer vers 0 déplace la prédiction moyenne.
- Grille logarithmique (10−4 … 104), et le λ retenu doit tomber à l'intérieur de la grille : s'il est au bord, la grille est trop courte.
Sur le jeu colinéaire, la CV n'a rien à départager en erreur — le RSS vaut 0 pour toute la droite. Elle choisira un λ petit, et ce λ petit suffit à rendre β unique : λ = 0,01 → (0,200 ; 0,400).
Où ça casse casse
La pénalité est le prior. Tout ce qui casse vient de là : un prior faux, ou un prior qu'on croit poser alors qu'on en pose un autre.
« La pénalité est le moins log du prior, donc choisir une pénalité c'est déclarer une croyance, donc la question n'est pas de savoir si l'on régularise mais ce que l'on croit du monde. »
- Prior faux. L2 sur une vérité vraiment sparse répartit du poids sur des features inutiles au lieu de les éteindre ; L1 sur des effets diffus et corrélés en éteint à tort et n'en garde qu'une par groupe. Le critère ajouté doit correspondre à ce qu'on croit du monde : effets diffus ⇒ L2, vérité sparse ⇒ L1.
- Échelle. ‖β‖² compare des coefficients qui n'ont pas les mêmes unités. Sans standardisation, λ pénalise surtout les features à petite échelle — dont les coefficients sont grands — et le prior effectivement posé n'est pas celui qu'on croyait.
- Intercept. Le pénaliser revient à poser un prior centré sur 0 pour la valeur moyenne de y, ce que personne ne croit. On le laisse libre.
- « On régularise pour éviter l'overfitting ». Phrase tentante et fausse au niveau du mécanisme : la pénalité fournit l'existence et l'unicité, en tranchant là où le RSS est plat. La baisse de variance et le gain en test sont une conséquence (p06-01). Dire la conséquence sans le mécanisme est ce qui coûte en entretien.
Résumé
- Tout le fil B tient sur deux hypothèses : la loi du bruit (p02-01) et le prior sur β (ici). Le reste est du calcul.
- MAP = NLL + (−log prior). Gaussien → λ‖β‖² avec λ = σ²/τ² ; Laplace → λ‖β‖1.
- La pénalité fournit l'existence et l'unicité : elle tranche là où les données ne tranchent pas. Le gain en test est une conséquence.
- +λI translate le spectre de λ : 0 → λ, 70 → 70 + λ. Rien n'est annulé, tout devient inversible.
- L1 tranche sur un sommet de sa boule, posé sur un axe : zéros exacts, (0 ; 0,5). L2 tranche au plus près : (0,2 ; 0,4), jamais zéro.
- λ par validation croisée ; standardiser avant ; ne pas pénaliser l'intercept.
Chaîne verbalisée — une prise, à voix haute
- D'où sort λ‖β‖² ?Du −log d'un prior N(0, τ²) sur β. Le MAP minimise NLL + (−log prior) ; le terme quadratique tombe, avec λ = σ²/τ².
- Que fournit la pénalité sous colinéarité ?L'unicité. Le RSS est constant sur la droite des solutions, la norme ne l'est pas : elle choisit (0,2 ; 0,4), le point de plus petite norme.
- Que fait +λI aux valeurs propres ?Il les translate de λ, mêmes vecteurs propres : 0 → λ, 70 → 70 + λ. Toutes positives ⇒ inversible ⇒ forme fermée. Rien n'est annulé.
- Pourquoi L1 met-il des zéros exacts ?Sa boule a ses sommets sur les axes, et le premier contact tombe sur un sommet : (0 ; 0,5). En pente : |β| garde une pente constante jusqu'à 0, β² l'évanouit.
- Que fournit la pénalité sous séparation parfaite ?L'existence. La NLL seule n'a pas de minimum ; λβ² → ∞ fait remonter la somme. λ = 0,01 → β̂ = 3,41.
Ponts et cartes
stats::map (MAP = NLL + −log prior) · stats::regularisation (λ = σ²/τ², L1 zéros exacts) · ml::ridge (forme fermée, +λI) · ml::lasso (seuillage doux, sommet de la boule) · algebre::eigen (spectre translaté, conditionnement).
Deux cartes déjà solides à réutiliser plutôt qu'à redémontrer : Ridge = prior gaussien, Lasso = prior de Laplace, et le gradient de L1 est constant. Une carte à créer : +λI translate le spectre — c'est le point qui s'inverse le plus facilement en « annule ».