Une chaîne,
trois exemples

Fil B. La même chaîne de 12 pas, déroulée entièrement sur un exemple, puis rejouée telle quelle sur trois autres. À gauche de chaque pas, la règle ; à droite, son application chiffrée. Lis l'exemple 1 en entier avant de changer d'onglet.

ce qu'on supposece qui cassece que les données déterminent

0 · Le décor Trois observations, deux features, la seconde vaut exactement deux fois la première. x₁ = (1, 2, 3) · x₂ = (2, 4, 6) · y = (1, 2, 3) Modèle linéaire sans intercept : f(x; β) = β₁x₁ + β₂x₂. On cherche β = (β₁, β₂).

Pourquoi cet exemple : petit au point de tout calculer à la main, et colinéaire — il fera casser la chaîne au pas 8, exactement là où il faut.

Hypothèse sur le bruitsupposé C'est le seul endroit où l'on suppose une loi sur les données ; l'autre hypothèse, l'indépendance, n'autorise que le produit du pas 3. Tout le reste est du calcul.

y_i = f(x_i; β) + ε_i, ε_i ~ N(0, σ²), indépendants Le bruit est gaussien, de même variance partout, et chaque observation tire le sien. Écriture équivalente, la seule qui survivra à l'exemple 2 : y_i | x_i ~ N(f(x_i; β), σ²) — la gaussienne est une famille de position, f ne fait que la translater, donc le bruit se sépare.

Densité d'une observation On modélise y sachant x, jamais x. On injecte ε_i = y_i − f(x_i; β) dans la densité du bruit.

p(y_i | x_i; β) = (1/(σ√(2π))) · exp( −(y_i − β₁x_1i − β₂x_2i)² / (2σ²) ) Le 2 sous σ² fait partie de la gaussienne. Il manquait en séance.

Produit Observations indépendantes ⇒ la probabilité de les voir toutes est le produit. C'est la vraisemblance L(β) : fonction de β, données fixées.

L(β) = Π_i=1³ p(y_i | x_i; β) Où ça casse : séries temporelles, mesures répétées sur un même sujet — le produit ment.

Log log(ab) = log a + log b : le produit devient une somme. L'argmax ne change pas, le log est croissant.

ℓ(β) = −3·log(σ√(2π)) − (1/(2σ²)) · Σ_i (y_i − β₁x_1i − β₂x_2i)² Le 3 devant la constante : une par observation. Il manquait en séance.

Négatif Maximiser ℓ = minimiser −ℓ. C'est le signe qui fabrique une loss à partir d'une vraisemblance.

NLL(β) = 3·log(σ√(2π)) + RSS(β) / (2σ²), avec RSS(β) = Σ_i (y_i − β₁x_1i − β₂x_2i)²

Jeter L'argmin ignore une constante additive et un facteur positif. On jette ce qui ne dépend pas de β. Ce qui reste porte un nom.

argmin_β NLL(β) = argmin_β RSS(β) Jeté : 3·log(σ√(2π)) (additif) et 1/(2σ²) (multiplicatif positif).

Sur l'exemple, comme x₂ = 2x₁ : f(x_i) = (β₁ + 2β₂)·x_1i. Pose s = β₁ + 2β₂. Alors RSS = Σ(y_i − s·x_1i)² = 14 − 28s + 14s² = 14(1 − s)². Les données ne voient que s.

Nommer, s'arrêter Ce qui reste porte un nom. Il n'y a rien à calculer après : reconnaître le nom fait partie du geste.

Σ_i (y_i − f(x_i; β))² = MSE La MSE n'a pas été choisie, elle est tombée du bruit gaussien. On s'arrête.

Minimiser → ce qui cassecasse Forme fermée β̂ = (XᵀX)⁻¹Xᵀy. Elle demande XᵀX inversible, c'est-à-dire de rang plein, c'est-à-dire sans valeur propre nulle.

XᵀX = [[14, 28], [28, 56]], valeurs propres 0 et 70, Xᵀy = (14, 28)

D'où sortent 0 et 70. Pour une 2×2, det(A − μI) = 0 ⇔ μ² − tr(A)·μ + det(A) = 0. tr = 14 + 56 = 70 ; det = 14·56 − 28² = 784 − 784 = 0 ; donc μ(μ − 70) = 0 : μ = 0 et μ = 70. Contrôles : somme 70 = trace, produit 0 = déterminant. Vecteurs propres : XᵀX(2, −1) = (28 − 28 ; 56 − 56) = (0, 0), donc (2, −1) pour 0 ; XᵀX(1, 2) = (14 + 56 ; 28 + 112) = (70, 140) = 70·(1, 2), donc (1, 2) pour 70. Non inversible parce que μ = 0 : v = (2, −1) est envoyé sur 0.

Rang 1 sur 2. Non inversible. Le RSS est minimal (nul) pour tout β tel que s = 1 : une droite entière de solutions.

β₁	β₂	s	‖β‖²
1	0	1	1
3	−1	1	10
−1	1	1	2
0,2	0,4	1	0,2

Les données ne peuvent pas choisir. La solution n'est pas instable, elle est non identifiable. Et σ a disparu au pas 6 : si tu veux une barre d'erreur sur β̂, il faut le récupérer : σ̂² = RSS/(n − p) sans biais ; RSS/n est le maximum de vraisemblance, biaisé vers le bas. Même objet que le SE du fil A.

Prior sur θsupposé Deuxième et dernière hypothèse. Une croyance sur β avant de voir les données. Bayes : p(β | données) ∝ L(β) · p(β).

β₁, β₂ ~ N(0, τ²), indépendants « Les coefficients sont modérés et centrés sur zéro. » Défendable ou non — mais c'est une hypothèse sur le monde, pas un artifice.

−log prior → pénalité Même geste que les pas 4–6, appliqué à β au lieu de y. Le MAP minimise NLL + (−log p(β)).

−log p(β) = const + ‖β‖² / (2τ²) argmin_β [ RSS/(2σ²) + ‖β‖²/(2τ²) ] = argmin_β [ RSS + λ‖β‖² ], λ = σ²/τ² C'est Ridge. Et λ a un sens : bruit fort ou prior étroit ⇒ λ grand, on croit le prior.

Ce que la pénalité fournit Le RSS est constant sur la droite s = 1. λ‖β‖² ne l'est pas. Lui seul décide.

Sur la droite, (β₁, β₂) = (1 + 2t, −t) : ‖β‖² = (1 + 2t)² + t² = 1 + 4t + 4t² + t² = 5t² + 4t + 1, parabole ; le minimum de at² + bt + c est en t = −b/(2a) = −4/10 = −0,4 → β = (1 − 0,8 ; 0,4) = (0,2 ; 0,4), un minimum.

Côté matrice : (XᵀX + λI)v = (μ + λ)v. Les valeurs propres deviennent λ et 70 + λ. Toutes > 0 ⇒ inversible. Rien n'est annulé, tout est translaté.

Ridge ne combat pas l'overfitting, il rend unique une solution qui ne l'était pas. L'amélioration en test est une conséquence (biais-variance), pas le mécanisme.

β̂ pénalisé, chiffré La forme fermée existe à nouveau.

β̂ = (XᵀX + λI)⁻¹ Xᵀy Inverse d'une 2×2 : [[a, b], [c, d]]⁻¹ = (1/det)·[[d, −b], [−c, a]]. λ = 1 : XᵀX + I = [[15, 28], [28, 57]], det = 15·57 − 28² = 855 − 784 = 71. Donc β̂ = (1/71)·[[57, −28], [−28, 15]]·(14, 28) : β̂₁ = (57·14 − 28·28)/71 = (798 − 784)/71 = 14/71 = 0,197 ; β̂₂ = (−28·14 + 15·28)/71 = (420 − 392)/71 = 28/71 = 0,394.

En général, sans inverser. Xᵀy = 14·(1, 2) est vecteur propre de XᵀX pour 70 (pas 8), donc de XᵀX + λI pour 70 + λ, donc (XᵀX + λI)⁻¹·14(1, 2) = 14/(70 + λ)·(1, 2) = (1/5)·(70/(70 + λ))·(1, 2). Pose r = 70/(70 + λ) : β̂ = (r/5)·(1, 2). Ridge rétrécit le long de la direction propre, il ne tourne pas. Contrôle λ = 1 : r = 70/71 = 0,986, (0,197 ; 0,394). λ = 10 → r = 0,875, (0,175 ; 0,35). Le point bleu de la figure, tiré vers l'origine quand λ monte.

0 · Le décor Quatre points sur une droite, une cible binaire, parfaitement séparables. x = (−2, −1, 1, 2) · y = (0, 0, 1, 1) Modèle : p_i = σ(β·x_i), σ la sigmoïde. On cherche un seul nombre, β.

Pourquoi cet exemple : la chaîne est identique à l'exemple 1 jusqu'au pas 7, puis casse autrement au pas 8 — pas « trop de solutions », mais « aucune ».

Hypothèse sur le bruitsupposé Pour une cible 0/1, il n'y a pas de ε à séparer : la loi de y sachant x est une Bernoulli dont f règle la probabilité, et la dispersion p(1 − p) en découle. C'est le cas général ; « prédiction + bruit » à l'exemple 1 était le cas particulier.

y_i ~ Bernoulli(p_i), p_i = σ(β·x_i), indépendants y_i − p_i vaut −p_i ou 1 − p_i : un « bruit » dont la loi dépend de x_i, rien à supposer à part.

Densité d'une observation Une seule formule pour y = 0 et y = 1. C'est l'astuce d'écriture qui rend tout mécanique.

p(y_i | x_i; β) = p_i^y_i (1 − p_i)^1−y_i Vaut p_i si y_i = 1, 1 − p_i si y_i = 0.

Produit Identique.

L(β) = Π_i=1⁴ p_i^y_i (1 − p_i)^1−y_i

Log Identique. Les exposants descendent devant les logs.

ℓ(β) = Σ_i [ y_i log p_i + (1 − y_i) log(1 − p_i) ]

Négatif Identique.

NLL(β) = −Σ_i [ y_i log p_i + (1 − y_i) log(1 − p_i) ]

Jeter Rien à jeter. Bernoulli n'a pas de paramètre de dispersion séparé : sa variance p(1 − p) est fixée par la moyenne.

NLL(β), telle quelle

Forme en logits, d'où elle sort. Deux identités : −log σ(t) = log(1 + e^−t) et 1 − σ(t) = σ(−t). Pose z_i = βx_i. Terme y = 1 : −log p_i = log(1 + e^−z_i). Terme y = 0 : −log(1 − p_i) = −log σ(−z_i) = log(1 + e^z_i) = z_i + log(1 + e^−z_i). D'où NLL = Σ_i [(1 − y_i)z_i + log(1 + e^−z_i)]. Sur l'exemple : x = 1, y = 1 → log(1 + e^−β) ; x = −1, y = 0 → −log(1 − σ(−β)) = −log σ(β) = log(1 + e^−β) ; la paire ±1 donne 2·log(1 + e^−β), la paire ±2 de même 2·log(1 + e^−2β) : NLL(β) = 2·log(1 + e^−β) + 2·log(1 + e^−2β). C'est cette forme que calcule BCEWithLogitsLoss (p08-02).

si on avait pris la MSE Σ(y_i − p_i)² : (i) bornée par 1 par exemple — vrai, mais c'est un argument de valeur, pas le mécanisme ; (ii) le mécanisme : gradient 2(p − y)·p(1 − p), écrasé là où l'erreur est maximale, contre p − y pour la log-loss ; (iii) non convexe en β, là où la log-loss est convexe en z et z affine en β.

Nommer, s'arrêter Ce qui reste porte un nom. Il n'y a rien à calculer après.

−Σ_i [ y_i log p_i + (1 − y_i) log(1 − p_i) ] = log-loss (cross-entropy binaire) La log-loss n'a pas été choisie, elle est tombée de Bernoulli. On s'arrête : en séance tu as continué à calculer au lieu de t'arrêter ici.

Minimiser → ce qui cassecasse Pas de forme fermée. On regarde la loss quand β grandit.

β	σ(β·1)	NLL(β)
0	0,5	2,77
1	0,731	0,880
2	0,881	0,290
5	0,993	0,0135
10	0,99995	0,00009

Ligne β = 1 en entier : 2·ln(1 + e⁻¹) + 2·ln(1 + e⁻²) = 2·0,313 + 2·0,127 = 0,880. Décroît vers 0, ne l'atteint jamais. Pour tout β, 2β fait mieux. Le MLE n'existe pas : ‖β‖ → ∞. Le solveur s'arrête sur max_iter avec un coefficient à 10¹⁵. Les données disent « n'importe quelle pente pourvu qu'elle soit infinie » : aucune information sur la confiance.

Prior sur θsupposé Identique.

β ~ N(0, τ²)

−log prior → pénalité Identique.

argmin_β [ NLL(β) + λβ² ]

Ce que la pénalité fournit La NLL tend vers 0 quand β → ∞ ; λβ² tend vers +∞. La somme remonte : un minimum existe. NLL convexe + λβ² strictement convexe : il est unique.

Même un λ = 10⁻⁶ suffit : il ne change rien près de l'origine, il bloque seulement la fuite à l'infini. La pénalité ne rend pas la solution meilleure, elle la fait exister.

β̂ pénalisé, chiffré Pas de forme fermée : on résout la condition de gradient nul Σ_i (p_i − y_i)x_i + 2λβ = 0 par bissection.

λ = 0,01 → β̂ = 3,41 · λ = 0,1 → β̂ = 1,85 · λ = 1 → β̂ = 0,71.

Même phénomène en dimension zéro : 5 succès sur 5 tirages, p̂ = 1, « un échec est impossible ». Un prior Beta — ou le lissage de Laplace (k+1)/(n+2) = 6/7 — ramène vers l'intérieur.

0 · Le décor Exactement les données de l'exemple 1. Une seule chose change : le pas 1. x₁ = (1, 2, 3) · x₂ = (2, 4, 6) · y = (1, 2, 3)

Pourquoi cet exemple : voir qu'en changeant uniquement l'hypothèse de bruit, toute la loss change, et qu'en changeant uniquement le prior, toute la pénalité change — et pas au même endroit.

Hypothèse sur le bruitsupposé Queues lourdes : on s'attend à quelques gros écarts.

ε_i ~ Laplace(0, b), densité (1/(2b)) · exp(−|ε|/b)

Densité d'une observation Même injection.

p(y_i | x_i; β) = (1/(2b)) · exp( −|y_i − β₁x_1i − β₂x_2i| / b )

Produit Identique.

L(β) = Π_i p(y_i | x_i; β)

Log Identique.

ℓ(β) = −3·log(2b) − (1/b) · Σ_i |y_i − β₁x_1i − β₂x_2i|

Négatif Identique.

NLL(β) = 3·log(2b) + (1/b) · Σ_i |y_i − f(x_i; β)|

Jeter Constante additive et facteur 1/b > 0 jetés.

argmin_β Σ_i |y_i − f(x_i; β)| Gaussienne → carré, Laplace → valeur absolue. La forme de la loss est la forme de l'exposant de la densité. MSE contre MAE est un choix de bruit, pas de loss.

Et ce n'est pas la même cible. Le minimiseur de la MSE est la moyenne conditionnelle ; celui de la MAE est la médiane conditionnelle. Pas « la même quantité estimée plus prudemment » : une autre quantité. Sur une distribution asymétrique (revenus, durées), elles ne coïncident pas, et la question « laquelle veux-tu prédire ? » se pose avant toute considération de robustesse. Voir l'encadré sous le pas 8.

Nommer, s'arrêter Ce qui reste porte un nom. Il n'y a rien à calculer après.

Σ_i |y_i − f(x_i; β)| = MAE La MAE n'a pas été choisie, elle est tombée du bruit de Laplace. On s'arrête.

Minimiser → ce qui cassecasse Même colinéarité, même droite plate.

Toujours f(x_i) = s·x_1i, s = β₁ + 2β₂. MAE nulle pour tout s = 1. Même droite de solutions qu'à l'exemple 1 : changer le bruit n'a rien changé ici, la casse vient des x, pas du bruit.

Quand supposer Laplace plutôt que gaussien ?

Le mécanisme, en un chiffre. Un résidu de 10 contre un résidu de 1 : la gaussienne le paie 100 fois plus cher, Laplace 10 fois. Sous MSE, l'influence d'un point n'est pas bornée — un seul aberrant déplace la solution arbitrairement loin. Sous MAE, elle l'est. On suppose Laplace quand on croit que de gros écarts arrivent normalement, pas exceptionnellement.

situation	pourquoi les queues sont lourdes
revenus, durées, temps de réponse	la cible elle-même a des queues lourdes ; la gaussienne est démentie par les données
erreurs de saisie, capteurs défaillants	un prix à 1 000 000 € au lieu de 100 000 : rare mais énorme
ETA, durées de trajet	les embouteillages font une queue massive à droite ; on veut la médiane, pas la moyenne tirée vers le haut

Compromis : Huber, quadratique près de zéro, linéaire au-delà d'un seuil δ (influence bornée, gradient qui s'éteint). Le prix de la MAE si le bruit est réellement gaussien : une efficacité moindre, variance de la médiane ≈ 1,57 fois celle de la moyenne.

ce qu'il faut savoir dire Personne ne dit « je suppose un bruit de Laplace » : on choisit la MAE parce qu'elle est robuste, et l'hypothèse est reconstituée après coup. Savoir faire le trajet dans ce sens — de la loss vers l'hypothèse qu'elle implique — permet de répondre « la MAE suppose des queues exponentielles et estime la médiane » plutôt que « la MAE est plus robuste ».

Prior sur θsupposé Cette fois, un prior qui croit à la sparsité : beaucoup de coefficients exactement nuls, quelques-uns forts.

β₁, β₂ ~ Laplace(0, τ)

−log prior → pénalité Même geste, valeur absolue au lieu du carré.

−log p(β) = const + (|β₁| + |β₂|) / τ ⇒ argmin_β [ loss + λ‖β‖₁ ] C'est le Lasso (ici sur une MAE, mais le pas 10 ne dépend pas de la loss du pas 7).

Ce que la pénalité fournit Même rôle : trancher sur la droite plate. Mais elle tranche ailleurs.

Sur la droite, (β₁, β₂) = (1 + 2t, −t) : ‖β‖₁ = |1 + 2t| + |t|. Cas par cas : sur [−0,5 ; 0], 1 + 2t ≥ 0 et t ≤ 0, donc ‖β‖₁ = 1 + 2t − t = 1 + t, décroissante, minimum au bord t = −0,5, valeur 0,5 ; pour t < −0,5, −(1 + 2t) − t = −1 − 3t, qui croît quand t descend ; pour t > 0, 1 + 3t, croissante. Donc t = −0,5 → (0 ; 0,5).

prior	pénalité	point choisi sur la droite	lecture
gaussien	‖β‖²	(0,2 ; 0,4)	répartit entre les deux features colinéaires
Laplace	‖β‖₁	(0 ; 0,5)	en éteint une, garde l'autre

Le critère ajouté doit correspondre à ce que tu crois du monde. Effets diffus ⇒ L2. Vérité sparse ⇒ L1. Ce n'est pas artificiel, c'est explicite — donc discutable et remplaçable.

β̂ pénalisé, chiffré Pas de forme fermée pour L1 (la valeur absolue n'est pas dérivable en 0), c'est justement ce qui permet des zéros exacts.

Pour λ petit, β̂ ≈ (0 ; 0,5) ; quand λ monte, β̂₂ descend vers 0 et β̂₁ reste exactement à 0.

0 · Le décor Une seule observation, trois classes nommées : chat, chien, oiseau ↔ k = 1, 2, 3. z = (2, 0, −1) · vraie classe chat, c = 1, one-hot y = (1, 0, 0) Modèle : un logit par classe, z_k = w_k · x, donc z = Wx avec W la matrice des w_k. L'énoncé donne z directement, comme si W et x avaient été appliqués ; ce qu'on cherche est Ŵ. Notations : i = observation (une seule ici, on omet l'indice), k = classe, j = indice muet de sommation ; p_k = probabilité de la classe k ; étiquette c et one-hot y_k = 1[c = k]. Log naturel, ln, partout.

Pourquoi cet exemple : c'est l'exemple 2 avec K = 3 au lieu de 2. La chaîne tombe sur la cross-entropy de CrossEntropyLoss et s'arrête au pas 7 ; les pas 8 à 12 sont ceux de l'exemple 2.

Hypothèse sur le bruitsupposé y prend K = 3 valeurs, donc la loi est la catégorielle (multinoulli) — le mot se nomme, c'est du vocabulaire. Paramètres (p₁, p₂, p₃) dans le simplexe : p_k ≥ 0, Σ_k p_k = 1, donc K − 1 = 2 paramètres libres (Bernoulli : 2 valeurs, 1 paramètre).

y ~ Catégorielle(p), p = softmax(z) Qui fabrique les p : la softmax joue le rôle de σ. p_k = e^z_k / Σ_j e^z_j : strictement positive (une exponentielle), donc log p_k toujours défini ; somme Σ_k e^z_k / Σ_j e^z_j = 1.

piège softmax ≠ cross-entropy : la softmax transforme les logits en probabilités (rôle de σ, pas 1) ; la cross-entropy est la loss obtenue au pas 7.

Masse d'une observation Masse, pas densité : y est discret. La probabilité de la classe observée, et rien d'autre. L'écriture one-hot Π_k p_k^y_k sélectionne cette coordonnée : p_c = Π_k p_k^y_k.

p(y | z) = Π_k p_k^y_k = p₁¹ · p₂⁰ · p₃⁰ = p₁ (a⁰ = 1, a¹ = a) Chiffré : e² = 7,389, e⁰ = 1, e⁻¹ = 0,368, somme 8,757. p = (7,389/8,757 ; 1/8,757 ; 0,368/8,757) = (0,844 ; 0,114 ; 0,042). Masse de l'observation « chat » : p₁ = 0,844.

Produit Identique. Une seule observation ici : le produit sur i n'a qu'un facteur.

L(W) = Π_i Π_k p_ik^y_ik = p₁ = 0,844

Log Deux règles, nommées séparément : log d'un produit = somme des logs ; log d'une puissance = exposant × log. Puis : un seul y_ik non nul par observation, donc Σ_k y_ik log p_ik = log p_{i,c_i}.

ℓ = Σ_i Σ_k y_ik log p_ik ℓ = 1 · ln 0,844 + 0 · ln 0,114 + 0 · ln 0,042 = ln 0,844 = −0,170.

Négatif Identique. piège Ce qu'on maximise est ℓ ; la cross-entropy est −ℓ. Appeler cross-entropy une somme qu'on maximise est une erreur de signe.

NLL = −Σ_i Σ_k y_ik log p_ik = −ln 0,844 = 0,170

Jeter Rien à jeter, comme à l'exemple 2 : la catégorielle n'a pas de paramètre de dispersion, ses p_k fixent tout.

NLL, telle quelle

Nommer, s'arrêter Ce qui reste porte un nom. Il n'y a rien à calculer après.

−Σ_i ln p_{i,c_i} = cross-entropy : −log de la probabilité donnée à la vraie classe −ln 0,844 = 0,170 si la vraie classe est chat ; si c'était oiseau, −ln 0,042 = 3,17. Contrôle : −ln p_c = ln Σ_j e^z_j − z_c = ln 8,757 − z_c = 2,170 − z_c : 2,170 − 2 = 0,170 et 2,170 + 1 = 3,17. C'est la forme en logits que calcule CrossEntropyLoss. La cross-entropy n'a pas été choisie, elle est tombée de la catégorielle. On s'arrête. Pour K = 2, p₁ = σ(z₁ − z₀) : la softmax à deux classes est la sigmoïde, et la cross-entropy redevient la log-loss.

8–12

Minimiser, prior, pénalité

Identiques à l'exemple 2, avec λ‖W‖² : le MLE peut ne pas exister (séparation), le prior gaussien sur W fournit la pénalité, un minimum existe et il est unique.

▮Les quatre exemples côte à côte

pas	Ex. 1 — gaussien	Ex. 2 — Bernoulli	Ex. 3 — Laplace	Ex. 4 — catégorielle
1 · bruit	ε ~ N(0, σ²)	y ~ Bernoulli(σ(βx))	ε ~ Laplace(0, b)	y ~ Cat(softmax(z))
2–5 · masse ou densité, produit, log, négatif	le même geste, sans exception
6 · jeter	σ² et la constante	rien	b et la constante	rien
7 · nommer, s'arrêter	MSE	log-loss (cross-entropy binaire)	MAE	cross-entropy = −log p_{vraie classe}
7b · ce qu'on estime	la moyenne conditionnelle	toute la loi P(y = 1 \| x)	la médiane conditionnelle	toute la loi P(y = k \| x)
8 · ce qui casse	infinité de solutions (colinéarité, valeur propre 0)	aucune solution (séparation parfaite, ‖β‖ → ∞)	infinité de solutions (même droite)	idem ex. 2, avec λ‖W‖²
9 · prior	β ~ N(0, τ²)	β ~ N(0, τ²)	β ~ Laplace(0, τ)
10 · la pénalité qui tombe	λ‖β‖², λ = σ²/τ²	λβ²	λ‖β‖₁
11 · ce qu'elle fournit	tranche : norme minimale (0,2 ; 0,4) ; spectre translaté, inversible	rend coercif : le minimum existe et est unique	tranche : sparse (0 ; 0,5)
12 · β̂	(0,197 ; 0,394) à λ = 1	3,41 à λ = 0,01	≈ (0 ; 0,5) à λ petit

« La loss est la trace du bruit ; la pénalité est la trace du prior. La vraisemblance seule ne détermine pas toujours de solution — trop, ou aucune — et la pénalité fournit ce qui manque. » Phrase fausse tentante : « on régularise pour éviter l'overfitting ». C'est la conséquence, pas le mécanisme. Le mécanisme est aux pas 8 et 11 : existence et unicité.

Devant une loss ou une pénalité : de quel bruit, de quel prior est-elle la trace ? Et que fournit-elle que les données ne fournissaient pas ?

Pour rejouer la chaîne seul

Prends l'exemple 1, remplace y par (1, 2, 4) — la colinéarité des x ne bouge pas. Refais les pas 6 à 8, 11 et 12. Puis prends l'exemple 2 avec y = (0, 1, 0, 1) — plus séparable — et vois ce qui change au pas 8. Enfin l'exemple 4 avec la vraie classe oiseau : refais les pas 2, 4 et 7.

Puis retour à l’index des fiches, ou à la fiche 03 pour te tester sur la même chaîne, question par question.