- Le geste en six pas (p02-01) : densité → produit → log → négatif → jeter → nommer. Il produit la NLL. Ici on ne le redéroule pas : on le rejoue sur un deuxième objet, le prior, et on additionne.
- Bayes (l07, notion 5) : p(β | D) = p(D | β) p(β) / p(D), donc p(β | D) ∝ L(β) p(β) à données fixées : le dénominateur ne dépend pas de β et ne déplace aucun argmax.
- Valeurs propres (p04-02) : si Av = μv alors (A + λI)v = (μ + λ)v. Mêmes vecteurs propres, spectre décalé. Une matrice symétrique est inversible si et seulement si aucune valeur propre n'est nulle.
- Les calculs sont faits ailleurs. Le déroulé D4 refait les marches 9 à 12 ligne à ligne sur ce même jeu colinéaire. Ici on garde les règles, les chiffres d'arrivée et les points d'arrêt.
La chaîne
Le décor
La vraisemblance ne détermine pas toujours un β, et elle échoue de deux façons opposées : trop de solutions, ou aucune. Colinéarité parfaite : une droite entière de β donne exactement le même RSS. Séparation parfaite : la NLL décroît vers 0 sans jamais l'atteindre.
Dans les deux cas il manque un critère. Comme la loss au pas 0 de p02-01, il ne va pas se décréter : il va se déduire.
« La vraisemblance seule laisse une droite entière de solutions ou n'en laisse aucune, donc il manque un critère, donc on ne va pas l'inventer mais le déduire d'une seconde hypothèse. »
Colinéaire : x1 = (1, 2, 3), x2 = (2, 4, 6) = 2x1, y = (1, 2, 3), modèle f = β1x1 + β2x2.
D'où sort X⊤y. Le gradient du RSS = ‖y − Xβ‖² vaut −2X⊤(y − Xβ) ; l'annuler donne les équations normales X⊤Xβ = X⊤y. X⊤y en est le second membre : (x1·y, x2·y) = (1 + 4 + 9 ; 2 + 8 + 18) = (14, 28).
Les valeurs propres sont des directions de l'espace des coefficients, pas des features. μ = 70 le long de v = (1, 2) : bouger les deux coefficients dans le même sens change les prédictions, la loss est raide. μ = 0 le long de v = (2, −1) : Xv = 2x1 − x2 = 0, donc les prédictions ne bougent pas, la loss est plate — c'est la droite de solutions. Vérification : X⊤X(2, −1) = (28 − 28, 56 − 56) = 0.
Contre-idée à écarter : « deux features identiques ⇒ deux valeurs propres identiques ⇒ κ = 1 ». C'est l'inverse : colinéarité exacte ⇒ 0 et 70, le plus différent possible. κ = 1, c'est des features orthogonales de même norme (X⊤X = cI).
Rang 1 : toute la droite s = β1 + 2β2 = 1 a RSS = 0.
| β1 | β2 | s | RSS | ‖β‖² |
|---|---|---|---|---|
| 1 | 0 | 1 | 0 | 1 |
| 3 | −1 | 1 | 0 | 10 |
| −1 | 1 | 1 | 0 | 2 |
| 0,2 | 0,4 | 1 | 0 | 0,2 |
La solution n'est pas instable, elle est non identifiable. Même mécanisme dès que p > n : le rang de X⊤X vaut au plus n < p, donc au moins une valeur propre est nulle, donc une infinité de solutions. Une seule brique à retenir : valeur propre nulle ⇒ pas d'unicité.
Séparable : x = (−2, −1, 1, 2), y = (0, 0, 1, 1), p = σ(βx). NLL(β) = 2 log(1 + e−β) + 2 log(1 + e−2β), strictement décroissante et bornée inférieurement par 0 sans l'atteindre : le MLE β n'existe pas (le paramètre existe, c'est l'estimateur qui manque). La formule est dérivée terme à terme dans p02-01, pas 5.
Le prior sur β tronc
On pose une loi sur β avant de voir les données. Bayes retourne alors la vraisemblance en une loi sur le paramètre :
La barre change de statut. En fréquentiste on écrivait p(y | x ; θ), point-virgule, parce que θ était fixe. Ici β est une variable aléatoire : p(β | D) est un vrai conditionnement, et c'est le posterior.
« Le prior est une hypothèse sur le monde, donc il est discutable et remplaçable, donc il n'est pas un artifice. »
| prior | densité | ce qu'il dit |
|---|---|---|
| N(0, τ²) | ∝ exp(−β²/(2τ²)) | les coefficients sont modérés, centrés sur zéro : les grands sont très improbables (queue en e−β²) |
| Laplace(0, τ) | ∝ exp(−|β|/τ) | la plupart sont proches de zéro, quelques-uns sont francs (densité en pointe en 0, queues plus lourdes) |
τ est la largeur de la croyance : τ grand = « je ne sais pas grand-chose » ; τ petit = « je suis sûr qu'ils sont petits ». Le prior ne parle jamais des données, seulement du monde d'où elles viennent.
−log prior → pénalité
Maximiser le posterior, c'est minimiser son −log. Le produit devient une somme : la NLL, plus le −log du prior. Le geste des pas 4–6 de p02-01, appliqué à β au lieu de y.
D'où sort la norme. Le prior porte sur un vecteur : p coordonnées indépendantes, chacune N(0, τ²), donc la densité jointe est un produit, donc son −log est une somme :
Et Σj βj² est, par définition, ‖β‖². La norme n'est que le nom de cette somme : le carré vient de l'exponentielle gaussienne, la somme de l'indépendance des coordonnées. Le terme p log √(2πτ²) ne dépend pas de β : c'est la « cste ». Laplace, même geste : Σj |βj|/τ = ‖β‖1/τ. Coordonnées corrélées, prior N(0, Σ) : on obtient β⊤Σ−1β, quadratique pondérée, qui n'est plus ‖β‖² — c'est l'indépendance plus la variance commune τ² qui donnent la norme simple.
C'est Ridge, et il n'a pas été choisi : il est tombé. Le facteur 2σ², constant, ne déplace pas l'argmin.
« Le MAP minimise la NLL plus le moins log du prior, donc un prior gaussien ajoute un terme quadratique, donc c'est L2 avec λ = σ²/τ². »
λ = σ²/τ² est un rapport de variances : bruit des données sur largeur de la croyance.
| σ² | τ² | λ | lecture |
|---|---|---|---|
| 1 | 100 | 0,01 | prior large, données propres : on écoute les données |
| 1 | 1 | 1 | à égalité |
| 4 | 0,25 | 16 | bruit fort ou prior étroit : on croit le prior |
Prior de Laplace, même geste : −log p(β) = ‖β‖1/τ + cste, et en multipliant par 2σ² on obtient argmin [ RSS + λ‖β‖1 ] avec λ = 2σ²/τ. C'est le Lasso. Rien d'autre n'a changé que la densité du prior.
λ → 0 redonne le maximum de vraisemblance ; λ → ∞ écrase β vers 0, c'est-à-dire vers le prior seul.
Ce que la pénalité fournit tronc
Le RSS est constant sur la droite des solutions ; λ‖β‖² ne l'est pas. Un seul point survit : la pénalité fournit l'unicité.
Sous séparation, la NLL descend vers 0 sans l'atteindre pendant que λβ² monte vers +∞ : la somme redescend puis remonte, donc elle a un minimum. La pénalité fournit l'existence.
Dans les deux cas elle tranche là où les données ne tranchent pas. Le gain en test vient ensuite, par la variance ; ce n'est pas le mécanisme.
« Là où les données ne tranchent pas, la pénalité tranche, donc elle rend la solution unique ou existante, donc l'amélioration en test est une conséquence et non le mécanisme. »
Unicité. Paramétrons la droite : (β1, β2) = (1 + 2t, −t). Alors
Parabole, un minimum, en t = −0,4 → β = (0,2 ; 0,4), de norme ‖β‖² = 0,2 et ‖β‖2 = 0,447. Les trois autres lignes du tableau du pas 1 valent 1, 10 et 2 : elles perdent toutes.
Existence. Sur le jeu séparable, argmin [NLL(β) + λβ²] existe dès que λ > 0 :
| λ | 10−6 | 0,01 | 0,1 | 1 |
|---|---|---|---|---|
| β | 11,4 | 3,41 | 1,85 | 0,71 |
Même λ = 10−6 suffit : il ne change rien près de l'origine, il bloque seulement la fuite à l'infini. La pénalité ne rend pas la solution meilleure, elle la fait exister.
β sous séparation n'est pas une estimation. Les données disent « le plus grand possible » ; le chiffre est entièrement fixé par λ — c'est toute la lecture du tableau, où λ seul fait passer β de 11,4 à 0,71. Ne jamais l'interpréter : ni lui, ni son odds ratio, ni son signe comparé à un autre coefficient.
Le plan (β1, β2). La droite rouge est l'ensemble des solutions à RSS = 0 : les données n'ont rien d'autre à dire. Gonfle le rayon : le cercle L2 touche la droite le premier à r = 0,447, en (0,2 ; 0,4) — deux coordonnées non nulles ; le losange L1 touche à r = 0,5, par un sommet posé sur l'axe, en (0 ; 0,5) — une coordonnée exactement nulle. Le premier contact est le point de la droite de plus petite norme : c'est lui que la pénalité choisit.
Le jeu séparable. La NLL seule descend vers 0 sans jamais l'atteindre : aucun minimum, β fuit. Ajoute la pénalité λβ² : la somme remonte, et le minimum apparaît. Mets λ à 0 puis remonte-le d'un cran : c'est le passage de « pas de solution » à « une solution ». Baisse ensuite λ : β part vers la droite — 3,41 à λ = 0,01, et rien ne l'arrête à λ = 0.
+λI translate, n'annule pas tronc
Côté matrice, Ridge remplace X⊤X par X⊤X + λI. Les vecteurs propres ne bougent pas, le spectre se décale en bloc :
La valeur propre 0 devient λ, 70 devient 70 + λ. Toutes strictement positives ⇒ la matrice est inversible ⇒ la forme fermée existe à nouveau.
Rien n'est annulé. La direction propre plate n'est pas supprimée : elle est relevée, juste assez pour qu'un minimum unique s'y trouve. Ce sont les coefficients que L1 annule, au pas suivant — autre objet, autre mécanisme.
« Ajouter λI ajoute λ à chaque valeur propre, donc la valeur propre nulle devient λ, donc la matrice devient inversible, donc la forme fermée existe à nouveau. »
D'où elle sort, en cinq lignes. Critère ‖y − Xβ‖² + λ‖β‖². Gradient : −2X⊤y + 2X⊤Xβ + 2λβ. Nul ⇔ X⊤Xβ + λβ = X⊤y. Or λβ = λIβ — on n'additionne pas une matrice et un scalaire, c'est de là que sort le I — donc (X⊤X + λI)β = X⊤y. Inversible parce que toutes ses valeurs propres valent μk + λ > 0.
Pourquoi (X⊤X)−1X⊤y échoue à λ = 0 : μ = 0 ⇔ un v ≠ 0 est envoyé sur 0 ⇔ β et β + tv donnent la même sortie ⇔ aucune inverse ne peut choisir. Le système a des solutions — une infinité — c'est la formule qui n'a plus de sens.
λ = 1 : la matrice vaut [[15, 28], [28, 57]], déterminant 855 − 784 = 71 = 1 × 71, le produit des deux valeurs propres.
Conditionnement : κ = μmax/μmin, ∞ si μmin = 0. Ici, un thermomètre de « +λI relève μmin », rien d'autre. C'est un rapport, pas une raideur : ce qui fixe la stabilité de β est μmin (Var = σ²/μmin) ; κ dit seulement qu'une direction est mieux déterminée qu'une autre. Ce que κ fait à la vitesse de la descente de gradient et à la précision numérique : partie optimisation.
| λ | petite v.p. | grande v.p. | conditionnement | β |
|---|---|---|---|---|
| 0 | 0 | 70 | ∞ — non inversible | toute la droite |
| 0,01 | 0,01 | 70,01 | 7 001 | (0,200 ; 0,400) |
| 1 | 1 | 71 | 71 | (0,197 ; 0,394) |
| 10 | 10 | 80 | 8 | (0,175 ; 0,350) |
En forme fermée : β = (1/5)·(70/(70 + λ))·(1, 2). Le rapport β2/β1 reste exactement 2 quel que soit λ : le signal X⊤y = 14·(1, 2) vit entièrement dans la direction propre non nulle, et Ridge ne fait qu'y rétrécir. Quand λ → 0, on retrouve (0,2 ; 0,4) : le point de norme minimale de la figure 1.
en haut : la grande valeur propre · en bas : la petite, sur son propre axe
Les deux valeurs propres de X⊤X + λI en fonction de λ. Deux droites de pente 1, l'une partant de 70, l'autre de 0 — d'où les deux axes séparés, sans quoi la seconde serait collée au bord. Fais glisser λ : la petite valeur propre vaut exactement λ. Elle quitte 0 dès le premier cran et ne le rejoint plus : translation, pas annulation. Le déterminant λ(70 + λ) et le conditionnement (70 + λ)/λ suivent : à λ = 0 le premier est nul et le second infini, c'est la même phrase dite trois fois.
Quand rien n'est nul : le mal conditionné tronc
À r = 0,99, X⊤X est inversible : aucune valeur propre n'est nulle, la solution est unique. Ce qui casse n'est pas l'existence, c'est la variance :
La variance de β le long du vecteur propre vk vaut σ²/μk. Une petite valeur propre ne supprime pas la solution, elle la rend instable dans sa direction. +λI la relève de λ : la variance dans cette direction retombe à σ²/(μk + λ).
Colinéarité exacte ⇒ valeur propre nulle ⇒ pas d'unicité (pas 1 et 4) ; colinéarité presque exacte ⇒ valeur propre minuscule ⇒ unicité, mais variance explosive (ici). Même remède, deux mécanismes.
« Aucune valeur propre n'est nulle, donc la solution est unique, donc ce qui casse n'est pas l'existence mais la variance : σ²/μmin explose le long de vmin, donc deux coefficients de signes opposés qui se compensent, donc quelques lignes en moins les font basculer ; +λI relève μmin de λ, donc la variance dans cette direction redescend. »
x1 = (1, 2, 3, 4, 5), x2 = (2,2 ; 3,8 ; 6,2 ; 7,8 ; 10,2), y = (1,2 ; 1,8 ; 3,2 ; 3,9 ; 5,1), modèle f = β1x1 + β2x2, sans intercept. Un autre jeu que le colinéaire exact du pas 1 : ici rien n'est dégénéré.
vmin = (−0,896 ; 0,445) ∝ (−2 ; 1) — la direction « échanger β1 contre β2 » ; vmax ∝ (1 ; 2), la direction où les données parlent.
- OLS : β = (−0,597 ; 0,799) — signes opposés — alors que la combinaison stable β1 + 2β2 vaut 1,000.
- σ² = RSS/(n − p) = 0,0120/3 = 0,0040. Écart-type de β le long de vmin : √(0,0040/0,038) = 0,32 ; le long de vmax : 0,0038. Rapport 85 = √7 240.
- Retirer un seul point : β1 va de −0,45 (sans le 2e) à −0,97 (sans le 4e) ; β1 + 2β2, lui, reste entre 0,988 et 1,012.
- Ridge λ = 1 : valeurs propres 1,04 et 278,6, conditionnement 268 ; β = (0,17 ; 0,42), tout près du point de norme minimale (0,2 ; 0,4) du pas 4.
Le plan (β1, β2). L'ellipse est la région à 95 % autour de β : ses demi-axes valent σ/√(μk + λ) le long de vmin et de vmax. Les cinq points sont les β obtenus en retirant une ligne, à λ = 0. À λ = 0 l'ellipse est une aiguille le long de (−2 ; 1) et les cinq points s'y étalent ; monte λ : l'aiguille se referme, et le centre glisse vers le point de norme minimale (0,2 ; 0,4).
L1 tranche ailleurs
Prior de Laplace ⇒ pénalité ‖β‖1 ⇒ Lasso. Même rôle qu'au pas 4 — trancher sur la droite plate — mais le point choisi change.
Géométrie. Gonfler la pénalité jusqu'au premier contact avec la droite, c'est gonfler sa boule. La boule L2 est ronde : elle touche n'importe où, et presque jamais sur un axe. La boule L1 est un losange dont les sommets sont posés sur les axes : une droite générique la rencontre d'abord par un sommet, donc avec une coordonnée exactement nulle.
Lu en pente plutôt qu'en géométrie, c'est le même fait : pente de |β| constante jusqu'à 0, pente de β² qui s'évanouit — p03-01, habit 3.
« La boule L1 a ses sommets sur les axes, donc le premier contact avec la droite des solutions tombe sur un sommet, donc une coordonnée est exactement nulle, donc L1 sélectionne là où L2 répartit. »
Sur la droite (1 + 2t, −t) : ‖β‖1 = |1 + 2t| + |t|, qui vaut 1 + t sur [−0,5 ; 0] — décroissante jusqu'au bord. Minimum en t = −0,5 → β = (0 ; 0,5), valeur 0,5.
| prior | pénalité | point choisi | lecture |
|---|---|---|---|
| gaussien | ‖β‖² | (0,2 ; 0,4) | répartit entre les deux features colinéaires |
| Laplace | ‖β‖1 | (0 ; 0,5) | en éteint une, garde l'autre |
Le zéro exact, en forme fermée. Design orthonormal, critère (β − b)² + λ·pen(β) — loss sans ½, pénalité pesée par λ seul, la convention du dépôt — avec b l'estimation non pénalisée :
b = 0,8 : à λ = 0,5, L2 donne 0,533 et L1 donne 0,550 ; à λ = 1, L2 donne 0,400 et L1 donne 0,300 ; à λ = 1,6, L2 donne 0,308 et L1 donne 0, exactement. Le seuillage doux : L1 soustrait λ/2 puis s'arrête à zéro, L2 divise et n'y arrive jamais.
Le zéro exact tombe à λ = 2|b| — ici 1,6. C'est le même seuil qu'à p03-01, pas 8, avec b = 1 : la loss y est L(θ) = (θ − 1)², le mur vaut |L′(0)| = 2, et θ = max(0, 1 − λ/2) s'annule dès λ ≥ 2.
Elastic Net additionne les deux pénalités pour garder les zéros tout en stabilisant les groupes de features corrélées ; le chemin complet de λ est l'objet de p05-03.
Le λ réel, celui qu'on règle
On ne connaît ni σ² ni τ² : λ ne se calcule pas, il se choisit, par validation croisée sur une grille logarithmique.
Deux statuts à ne pas confondre. L'équivalence des formules — pénalité L2 = −log d'un prior gaussien — est un fait, vrai ligne à ligne. L'interprétation bayésienne est une lecture : elle explique la forme de la pénalité, pas la valeur de λ.
X⊤X croît avec n ; λI, lui, ne bouge pas. Le même λ ne pèse donc pas la même chose à n = 500 et à n = 5 millions.
« σ² et τ² ne sont pas observables, donc λ ne se calcule pas et se choisit par validation croisée, donc la lecture bayésienne donne la forme de la pénalité et la CV en fixe la force. »
« XᵀX croît avec n et λI ne bouge pas, donc là où les données parlent le prior est noyé quand n grandit, donc là où elles se taisent il reste la seule voix, donc λ se règle en fonction de n et jamais dans l'absolu. »
- Standardiser d'abord. ‖β‖² dépend des unités : passer une longueur de mètres en millimètres divise son coefficient par 1 000 et le rend invisible à la pénalité. Centrer-réduire sur le train seul, à l'intérieur de la CV.
- Ne pas pénaliser l'intercept. Il n'a aucune raison d'être proche de zéro : le tirer vers 0 déplace la prédiction moyenne.
- Grille logarithmique (10−4 … 104), et le λ retenu doit tomber à l'intérieur de la grille : s'il est au bord, la grille est trop courte.
Sur le jeu colinéaire, la CV n'a rien à départager en erreur — le RSS vaut 0 pour toute la droite. Elle choisira un λ petit, et ce λ petit suffit à rendre β unique : λ = 0,01 → (0,200 ; 0,400).
Le prior est noyé là où les données parlent. Jeu colinéaire exact répliqué k fois (n = 3k) : X⊤X = k·[[14, 28], [28, 56]], valeurs propres 0 et 70k. Facteur de rétrécissement dans la direction des données : 70k/(70k + λ).
| n | facteur à λ = 1 |
|---|---|
| 3 | 0,986 |
| 30 | 0,9986 |
| 300 | 0,99986 |
Dans la direction plate, en revanche, la valeur propre reste 0 → λ quel que soit n : le prior y est la seule voix, pour toujours. Le posterior entier dit la même chose en une fois — p02-03.
Où ça casse casse
La pénalité est le prior. Tout ce qui casse vient de là : un prior faux, ou un prior qu'on croit poser alors qu'on en pose un autre.
« La pénalité est le moins log du prior, donc choisir une pénalité c'est déclarer une croyance, donc la question n'est pas de savoir si l'on régularise mais ce que l'on croit du monde. »
- Prior faux. L2 sur une vérité vraiment sparse répartit du poids sur des features inutiles au lieu de les éteindre ; L1 sur des effets diffus et corrélés en éteint à tort et n'en garde qu'une par groupe. Le critère ajouté doit correspondre à ce qu'on croit du monde : effets diffus ⇒ L2, vérité sparse ⇒ L1.
- Échelle. ‖β‖² compare des coefficients qui n'ont pas les mêmes unités. Sans standardisation, λ pénalise surtout les features à petite échelle — dont les coefficients sont grands — et le prior effectivement posé n'est pas celui qu'on croyait.
- Intercept. Le pénaliser revient à poser un prior centré sur 0 pour la valeur moyenne de y, ce que personne ne croit. On le laisse libre.
- Séparation sans bug. Deux cas réels, sans la moindre fuite de cible : une modalité rare d'une variable catégorielle à haute cardinalité (
user_id,merchant_iden one-hot) dont tous les exemples portent le même label — quasi-séparation ; et p > n (texte, bag-of-words), où un hyperplan séparateur existe presque toujours. Signature : un coefficient qui grimpe avec les itérations, une loss qui ne se stabilise jamais. C'est pourquoi une logistique non régularisée ne s'utilise pas sur du texte. - « On régularise pour éviter l'overfitting ». Phrase tentante et fausse au niveau du mécanisme : la pénalité fournit l'existence et l'unicité, en tranchant là où le RSS est plat. La baisse de variance et le gain en test sont une conséquence (p06-01). Dire la conséquence sans le mécanisme est ce qui coûte en entretien.
Résumé
- Tout le fil B tient sur deux hypothèses : la loi du bruit (p02-01) et le prior sur β (ici). Le reste est du calcul.
- MAP = NLL + (−log prior). Gaussien → λ‖β‖² avec λ = σ²/τ² ; Laplace → λ‖β‖1.
- La pénalité fournit l'existence et l'unicité : elle tranche là où les données ne tranchent pas. Le gain en test est une conséquence.
- +λI translate le spectre de λ : 0 → λ, 70 → 70 + λ. Rien n'est annulé, tout devient inversible.
- L1 tranche sur un sommet de sa boule, posé sur un axe : zéros exacts, (0 ; 0,5). L2 tranche au plus près : (0,2 ; 0,4), jamais zéro — sauf si l'estimation non pénalisée l'est déjà (β = b/(1 + λ) ne s'annule que si b = 0).
- λ par validation croisée ; standardiser avant ; ne pas pénaliser l'intercept.
- À 0,99 rien n'est nul : unicité, mais Var(β) = σ² Σ vkvk⊤/μk explose le long de vmin ; +λI la fait redescendre.
- β sous séparation est le prior qui parle ; et quand n grandit, le prior est noyé là où les données parlent, seule voix là où elles se taisent.
Chaîne verbalisée — une prise, à voix haute
- D'où sort λ‖β‖² ?Du −log d'un prior N(0, τ²) sur β. Le MAP minimise NLL + (−log prior) ; le terme quadratique tombe, avec λ = σ²/τ².
- Que fournit la pénalité sous colinéarité ?L'unicité. Le RSS est constant sur la droite des solutions, la norme ne l'est pas : elle choisit (0,2 ; 0,4), le point de plus petite norme.
- Que fait +λI aux valeurs propres ?Il les translate de λ, mêmes vecteurs propres : 0 → λ, 70 → 70 + λ. Toutes positives ⇒ inversible ⇒ forme fermée. Rien n'est annulé.
- Pourquoi L1 met-il des zéros exacts ?Sa boule a ses sommets sur les axes, et le premier contact tombe sur un sommet : (0 ; 0,5). En pente : |β| garde une pente constante jusqu'à 0, β² l'évanouit.
- Corrélation 0,99 entre deux features : qu'est-ce qui casse, exactement ?Pas l'existence : XᵀX est inversible. La variance le long de vmin, σ²/μmin — coefficients de signes opposés, instables à dix lignes près. +λI relève μmin.
- Que vaut β = 6 obtenu sous séparation avec λ = 0,1 ?Rien : c'est λ qui parle. Change λ, il change. On ne l'interprète pas.
- Que fournit la pénalité sous séparation parfaite ?L'existence. La NLL seule n'a pas de minimum ; λβ² → ∞ fait remonter la somme. λ = 0,01 → β̂ = 3,41.
Ponts et cartes
stats::map (MAP = NLL + −log prior) · stats::regularisation (λ = σ²/τ², L1 zéros exacts) · ml::ridge (forme fermée, +λI) · ml::lasso (seuillage doux, sommet de la boule) · algebre::eigen (spectre translaté, conditionnement).
Deux cartes déjà solides à réutiliser plutôt qu'à redémontrer : Ridge = prior gaussien, Lasso = prior de Laplace, et le gradient de L1 est constant. Une carte à créer : +λI translate le spectre — c'est le point qui s'inverse le plus facilement en « annule ».