Une chaîne,
trois exemples

Fil B. La même chaîne de 11 pas, déroulée entièrement sur un exemple, puis rejouée telle quelle sur deux autres. À gauche de chaque pas, la règle ; à droite, son application chiffrée. Lis l'exemple 1 en entier avant de changer d'onglet.

ce qu'on supposece qui cassece que les données déterminent

0 · Le décor Trois observations, deux features, la seconde vaut exactement deux fois la première. x₁ = (1, 2, 3) · x₂ = (2, 4, 6) · y = (1, 2, 3) Modèle linéaire sans intercept : f(x; β) = β₁x₁ + β₂x₂. On cherche β = (β₁, β₂).

Pourquoi cet exemple : petit au point de tout calculer à la main, et colinéaire — il fera casser la chaîne au pas 7, exactement là où il faut.

Hypothèse sur le bruitsupposé C'est le seul endroit où l'on suppose quelque chose. Tout le reste est du calcul.

y_i = f(x_i; β) + ε_i, ε_i ~ N(0, σ²), indépendants Le bruit est gaussien, de même variance partout, et chaque observation tire le sien.

Densité d'une observation On modélise y sachant x, jamais x. On injecte ε_i = y_i − f(x_i; β) dans la densité du bruit.

p(y_i | x_i; β) = (1/(σ√(2π))) · exp( −(y_i − β₁x_1i − β₂x_2i)² / (2σ²) ) Le 2 sous σ² fait partie de la gaussienne. Il manquait en séance.

Produit Observations indépendantes ⇒ la probabilité de les voir toutes est le produit. C'est la vraisemblance L(β) : fonction de β, données fixées.

L(β) = Π_i=1³ p(y_i | x_i; β) Où ça casse : séries temporelles, mesures répétées sur un même sujet — le produit ment.

Log log(ab) = log a + log b : le produit devient une somme. L'argmax ne change pas, le log est croissant.

ℓ(β) = −3·log(σ√(2π)) − (1/(2σ²)) · Σ_i (y_i − β₁x_1i − β₂x_2i)² Le 3 devant la constante : une par observation. Il manquait en séance.

Négatif Maximiser ℓ = minimiser −ℓ. C'est le signe qui fabrique une loss à partir d'une vraisemblance.

NLL(β) = 3·log(σ√(2π)) + RSS(β) / (2σ²), avec RSS(β) = Σ_i (y_i − β₁x_1i − β₂x_2i)²

Jeter → la loss L'argmin ignore une constante additive et un facteur positif. On jette ce qui ne dépend pas de β. Ce qui reste porte un nom.

argmin_β NLL(β) = argmin_β RSS(β) = MSE Jeté : 3·log(σ√(2π)) (additif) et 1/(2σ²) (multiplicatif positif). La MSE n'a pas été choisie, elle est tombée du bruit gaussien.

Sur l'exemple, comme x₂ = 2x₁ : f(x_i) = (β₁ + 2β₂)·x_1i. Pose s = β₁ + 2β₂. Alors RSS = Σ(y_i − s·x_1i)² = 14 − 28s + 14s² = 14(1 − s)². Les données ne voient que s.

Minimiser → ce qui cassecasse Forme fermée β̂ = (XᵀX)⁻¹Xᵀy. Elle demande XᵀX inversible, c'est-à-dire de rang plein, c'est-à-dire sans valeur propre nulle.

XᵀX = [[14, 28], [28, 56]], valeurs propres 0 et 70, Xᵀy = (14, 28) Rang 1 sur 2. Non inversible. Le RSS est minimal (nul) pour tout β tel que s = 1 : une droite entière de solutions.

β₁	β₂	s	‖β‖²
1	0	1	1
3	−1	1	10
−1	1	1	2
0,2	0,4	1	0,2

Les données ne peuvent pas choisir. La solution n'est pas instable, elle est non identifiable. Et σ a disparu au pas 6 : si tu veux une barre d'erreur sur β̂, il faut le récupérer, σ̂² = RSS/n. Même objet que le SE du fil A.

Prior sur θsupposé Deuxième et dernière hypothèse. Une croyance sur β avant de voir les données. Bayes : p(β | données) ∝ L(β) · p(β).

β₁, β₂ ~ N(0, τ²), indépendants « Les coefficients sont modérés et centrés sur zéro. » Défendable ou non — mais c'est une hypothèse sur le monde, pas un artifice.

−log prior → pénalité Même geste que les pas 4–6, appliqué à β au lieu de y. Le MAP minimise NLL + (−log p(β)).

−log p(β) = const + ‖β‖² / (2τ²) argmin_β [ RSS/(2σ²) + ‖β‖²/(2τ²) ] = argmin_β [ RSS + λ‖β‖² ], λ = σ²/τ² C'est Ridge. Et λ a un sens : bruit fort ou prior étroit ⇒ λ grand, on croit le prior.

Ce que la pénalité fournit Le RSS est constant sur la droite s = 1. λ‖β‖² ne l'est pas. Lui seul décide.

Sur la droite, (β₁, β₂) = (1 + 2t, −t) : ‖β‖² = 5t² + 4t + 1, parabole, un minimum en t = −0,4 → (0,2 ; 0,4).

Côté matrice : (XᵀX + λI)v = (μ + λ)v. Les valeurs propres deviennent λ et 70 + λ. Toutes > 0 ⇒ inversible. Rien n'est annulé, tout est translaté.

Ridge ne combat pas l'overfitting, il rend unique une solution qui ne l'était pas. L'amélioration en test est une conséquence (biais-variance), pas le mécanisme.

β̂ pénalisé, chiffré La forme fermée existe à nouveau.

β̂ = (XᵀX + λI)⁻¹ Xᵀy λ = 1 : [[15, 28], [28, 57]], déterminant 855 − 784 = 71. β̂₁ = (57·14 − 28·28)/71 = 14/71 = 0,197, β̂₂ = (15·28 − 28·14)/71 = 28/71 = 0,394.
En général : β̂ = (s/5)·(1, 2) avec s = 70/(70 + λ). λ = 10 → (0,175 ; 0,35). Le point bleu de la figure, tiré vers l'origine quand λ monte.

0 · Le décor Quatre points sur une droite, une cible binaire, parfaitement séparables. x = (−2, −1, 1, 2) · y = (0, 0, 1, 1) Modèle : p_i = σ(β·x_i), σ la sigmoïde. On cherche un seul nombre, β.

Pourquoi cet exemple : la chaîne est identique à l'exemple 1 jusqu'au pas 6, puis casse autrement au pas 7 — pas « trop de solutions », mais « aucune ».

Hypothèse sur le bruitsupposé Pour une cible 0/1, le « bruit » est une loi de Bernoulli dont la moyenne dépend de x.

y_i ~ Bernoulli(p_i), p_i = σ(β·x_i), indépendants

Densité d'une observation Une seule formule pour y = 0 et y = 1. C'est l'astuce d'écriture qui rend tout mécanique.

p(y_i | x_i; β) = p_i^y_i (1 − p_i)^1−y_i Vaut p_i si y_i = 1, 1 − p_i si y_i = 0.

Produit Identique.

L(β) = Π_i=1⁴ p_i^y_i (1 − p_i)^1−y_i

Log Identique. Les exposants descendent devant les logs.

ℓ(β) = Σ_i [ y_i log p_i + (1 − y_i) log(1 − p_i) ]

Négatif Identique.

NLL(β) = −Σ_i [ y_i log p_i + (1 − y_i) log(1 − p_i) ]

Jeter → la loss Rien à jeter. Bernoulli n'a pas de paramètre de dispersion séparé : sa variance p(1 − p) est fixée par la moyenne.

NLL(β) = cross-entropy binaire, telle quelle La log-loss n'a pas été choisie, elle est tombée de Bernoulli. En séance tu as continué à calculer au lieu de t'arrêter ici.

Forme en logits, en posant z_i = βx_i : NLL = Σ_i [(1 − y_i)z_i + log(1 + e^−z_i)]. Sur l'exemple : NLL(β) = 2·log(1 + e^−β) + 2·log(1 + e^−2β). C'est ce que calcule BCEWithLogitsLoss — jamais σ puis log, sinon saturation et inf.

si on avait pris la MSE Σ(y_i − p_i)² : (i) bornée par 1 par exemple — faux avec certitude coûte autant que « je ne sais pas » deux fois ; (ii) gradient 2(p − y)·p(1 − p), écrasé là où l'erreur est maximale, contre p − y pour la log-loss ; (iii) non convexe en β : (1 − σ(z))² a une dérivée seconde négative pour z < −ln 2. La log-loss est convexe en z (dérivée seconde p(1−p) > 0), et z est affine en β ⇒ convexe en β.

Minimiser → ce qui cassecasse Pas de forme fermée. On regarde la loss quand β grandit.

β	σ(β·1)	NLL(β)
0	0,5	2,77
1	0,731	0,880
2	0,881	0,290
5	0,993	0,0135
10	0,99995	0,00009

Décroît vers 0, ne l'atteint jamais. Pour tout β, 2β fait mieux. Le MLE n'existe pas : ‖β‖ → ∞. Le solveur s'arrête sur max_iter avec un coefficient à 10¹⁵. Les données disent « n'importe quelle pente pourvu qu'elle soit infinie » : aucune information sur la confiance.

Prior sur θsupposé Identique.

β ~ N(0, τ²)

−log prior → pénalité Identique.

argmin_β [ NLL(β) + λβ² ]

Ce que la pénalité fournit La NLL tend vers 0 quand β → ∞ ; λβ² tend vers +∞. La somme remonte : un minimum existe. NLL convexe + λβ² strictement convexe : il est unique.

Même un λ = 10⁻⁶ suffit : il ne change rien près de l'origine, il bloque seulement la fuite à l'infini. La pénalité ne rend pas la solution meilleure, elle la fait exister.

β̂ pénalisé, chiffré Numériquement (pas de forme fermée).

λ = 0,01 → β̂ = 3,41 · λ = 0,1 → β̂ = 1,85 · λ = 1 → β̂ = 0,71.

Même phénomène en dimension zéro : 5 succès sur 5 tirages, p̂ = 1, « un échec est impossible ». Un prior Beta — ou le lissage de Laplace (k+1)/(n+2) = 6/7 — ramène vers l'intérieur.

0 · Le décor Exactement les données de l'exemple 1. Une seule chose change : le pas 1. x₁ = (1, 2, 3) · x₂ = (2, 4, 6) · y = (1, 2, 3)

Pourquoi cet exemple : voir qu'en changeant uniquement l'hypothèse de bruit, toute la loss change, et qu'en changeant uniquement le prior, toute la pénalité change — et pas au même endroit.

Hypothèse sur le bruitsupposé Queues lourdes : on s'attend à quelques gros écarts.

ε_i ~ Laplace(0, b), densité (1/(2b)) · exp(−|ε|/b)

Densité d'une observation Même injection.

p(y_i | x_i; β) = (1/(2b)) · exp( −|y_i − β₁x_1i − β₂x_2i| / b )

Produit Identique.

L(β) = Π_i p(y_i | x_i; β)

Log Identique.

ℓ(β) = −3·log(2b) − (1/b) · Σ_i |y_i − β₁x_1i − β₂x_2i|

Négatif Identique.

NLL(β) = 3·log(2b) + (1/b) · Σ_i |y_i − f(x_i; β)|

Jeter → la loss Constante additive et facteur 1/b > 0 jetés.

argmin_β Σ_i |y_i − f(x_i; β)| = MAE Gaussienne → carré, Laplace → valeur absolue. La forme de la loss est la forme de l'exposant de la densité. MSE contre MAE est un choix de bruit, pas de loss.

Et ce n'est pas la même cible. Le minimiseur de la MSE est la moyenne conditionnelle ; celui de la MAE est la médiane conditionnelle. Pas « la même quantité estimée plus prudemment » : une autre quantité. Sur une distribution asymétrique (revenus, durées), elles ne coïncident pas, et la question « laquelle veux-tu prédire ? » se pose avant toute considération de robustesse. Voir l'encadré sous le pas 7.

Minimiser → ce qui cassecasse Même colinéarité, même droite plate.

Toujours f(x_i) = s·x_1i, s = β₁ + 2β₂. MAE nulle pour tout s = 1. Même droite de solutions qu'à l'exemple 1 : changer le bruit n'a rien changé ici, la casse vient des x, pas du bruit.

Quand supposer Laplace plutôt que gaussien ?

Le mécanisme, en un chiffre. Un résidu de 10 contre un résidu de 1 : la gaussienne le paie 100 fois plus cher, Laplace 10 fois. Sous MSE, l'influence d'un point n'est pas bornée — un seul aberrant déplace la solution arbitrairement loin. Sous MAE, elle l'est. On suppose Laplace quand on croit que de gros écarts arrivent normalement, pas exceptionnellement.

situation	pourquoi les queues sont lourdes
revenus, sinistres, temps de réponse, tailles de fichiers	la cible elle-même a des queues lourdes ; la gaussienne est démentie par les données
erreurs de saisie, capteurs défaillants	un prix à 1 000 000 € au lieu de 100 000, un GPS en multipath : rare mais énorme
labels de crowdsourcing	quelques annotateurs se trompent franchement
ETA, durées de trajet	les embouteillages font une queue massive à droite ; on veut la médiane, pas la moyenne tirée vers le haut
reconstruction d'image	la L2 floute, la L1 garde net : la moyenne de deux hypothèses de contour est un contour flou, la médiane en choisit un
bruit impulsionnel (salt-and-pepper)	littéralement le modèle Laplace : la plupart des pixels intacts, quelques-uns complètement faux
rendements financiers	kurtosis élevée ; supposer gaussien est l'erreur classique du domaine
population à régimes mélangés	un sous-groupe rare et très différent qu'on ne veut pas laisser dicter le modèle

le prix Si le bruit est réellement gaussien, la MAE perd en efficacité : la médiane a une variance environ 1,57 fois celle de la moyenne (2/π ≈ 64 %). On paie en précision une robustesse dont on n'avait pas besoin. Et le gradient de |r| est constant : il ne s'éteint pas près de l'optimum, la convergence oscille, et la fonction n'est pas dérivable en 0.

Le compromis : Huber. Quadratique près de zéro (efficacité gaussienne, gradient qui s'éteint), linéaire au-delà d'un seuil δ (influence bornée). Défaut de la régression robuste, et l'option « robuste » du gradient boosting.

Comment trancher sur des données réelles. Ajuster avec la MSE, puis QQ-plot des résidus contre la normale : si les extrémités décrochent de la diagonale, ou si la kurtosis excède nettement 3, l'hypothèse gaussienne est fausse. Puis comparer les deux ajustements : s'ils divergent beaucoup, quelques points dictent le résultat.

ce qu'il faut savoir dire Personne ne dit « je suppose un bruit de Laplace » : on choisit la MAE parce qu'elle est robuste, et l'hypothèse est reconstituée après coup. Savoir faire le trajet dans ce sens — de la loss vers l'hypothèse qu'elle implique — permet de répondre « la MAE suppose des queues exponentielles et estime la médiane » plutôt que « la MAE est plus robuste ».

Prior sur θsupposé Cette fois, un prior qui croit à la sparsité : beaucoup de coefficients exactement nuls, quelques-uns forts.

β₁, β₂ ~ Laplace(0, τ)

−log prior → pénalité Même geste, valeur absolue au lieu du carré.

−log p(β) = const + (|β₁| + |β₂|) / τ ⇒ argmin_β [ loss + λ‖β‖₁ ] C'est le Lasso (ici sur une MAE, mais le pas 9 ne dépend pas de la loss du pas 6).

Ce que la pénalité fournit Même rôle : trancher sur la droite plate. Mais elle tranche ailleurs.

Sur la droite, (β₁, β₂) = (1 + 2t, −t) : ‖β‖₁ = |1 + 2t| + |t|. Minimum en t = −0,5 → (0 ; 0,5), valeur 0,5.

prior	pénalité	point choisi sur la droite	lecture
gaussien	‖β‖²	(0,2 ; 0,4)	répartit entre les deux features colinéaires
Laplace	‖β‖₁	(0 ; 0,5)	en éteint une, garde l'autre

Le critère ajouté doit correspondre à ce que tu crois du monde. Effets diffus ⇒ L2. Vérité sparse ⇒ L1. Ce n'est pas artificiel, c'est explicite — donc discutable et remplaçable.

β̂ pénalisé, chiffré Pas de forme fermée pour L1 (la valeur absolue n'est pas dérivable en 0), c'est justement ce qui permet des zéros exacts.

Pour λ petit, β̂ ≈ (0 ; 0,5) ; quand λ monte, β̂₂ descend vers 0 et β̂₁ reste exactement à 0.

▮Les trois exemples côte à côte

pas	Ex. 1 — gaussien	Ex. 2 — Bernoulli	Ex. 3 — Laplace
1 · bruit	ε ~ N(0, σ²)	y ~ Bernoulli(σ(βx))	ε ~ Laplace(0, b)
2–5 · densité, produit, log, négatif	le même geste, sans exception
6 · la loss qui tombe	MSE ; σ² jeté	cross-entropy ; rien à jeter	MAE ; b jeté
6b · ce qu'on estime	la moyenne conditionnelle	la probabilité conditionnelle	la médiane conditionnelle
7 · ce qui casse	infinité de solutions (colinéarité, valeur propre 0)	aucune solution (séparation parfaite, ‖β‖ → ∞)	infinité de solutions (même droite)
8 · prior	β ~ N(0, τ²)	β ~ N(0, τ²)	β ~ Laplace(0, τ)
9 · la pénalité qui tombe	λ‖β‖², λ = σ²/τ²	λβ²	λ‖β‖₁
10 · ce qu'elle fournit	tranche : norme minimale (0,2 ; 0,4) ; spectre translaté, inversible	rend coercif : le minimum existe et est unique	tranche : sparse (0 ; 0,5)
11 · β̂	(0,197 ; 0,394) à λ = 1	3,41 à λ = 0,01	≈ (0 ; 0,5) à λ petit

« La loss est la trace du bruit ; la pénalité est la trace du prior. La vraisemblance seule ne détermine pas toujours de solution — trop, ou aucune — et la pénalité fournit ce qui manque. » Phrase fausse tentante : « on régularise pour éviter l'overfitting ». C'est la conséquence, pas le mécanisme. Le mécanisme est aux pas 7 et 10 : existence et unicité.

Devant une loss ou une pénalité : de quel bruit, de quel prior est-elle la trace ? Et que fournit-elle que les données ne fournissaient pas ?

Pour rejouer la chaîne seul

Prends l'exemple 1, remplace y par (1, 2, 4) — la colinéarité des x ne bouge pas. Refais les pas 6, 7, 10, 11. Puis prends l'exemple 2 avec y = (0, 1, 0, 1) — plus séparable — et vois ce qui change au pas 7.

Puis retour à l’index des fiches, ou à la fiche 03 pour te tester sur la même chaîne, question par question.