Fil rouge : une pièce lancée 3 fois donne PPP ; puis un classifieur logistique avec un prior gaussien sur ses poids. La même expression P(D | θ) change de sens selon la lettre qui bouge, et toute la régularisation en découle.
Vraisemblance — ce qu'elle est, ce qu'elle n'est pas
QMême expression P(D | θ) : qu'est-ce qui distingue une probabilité d'une vraisemblance ?›
La variable, pas la formule. Probabilité : fonction de D, θ fixé (on balaie les données possibles). Vraisemblance : fonction de θ, D fixé (on balaie les paramètres).
« L'expression est la même, donc seule change la lettre qui varie, donc à D fixé c'est une fonction de θ qu'on appelle vraisemblance. »
QLa vraisemblance L(θ) est-elle une distribution de probabilité sur θ ?›
Non : ∫L(θ)dθ ≠ 1. Ce n'est pas une densité sur θ, juste une fonction qu'on maximise. Contraste : le posterior est normalisé par P(D), donc intègre à 1 — c'est une vraie distribution.
« L'intégrale de L sur θ ne vaut pas 1, donc L n'est pas une densité sur θ, donc elle ne dit rien de probabiliste sur θ et on se contente de la maximiser. »
QL(θ) = ∏ f(xi ; θ) est-elle une probabilité ?›
Cas discret : oui, chaque facteur est une masse, L ∈ [0,1]. Cas continu : non, c'est un produit de densités, sans borne. Définition invariante : la densité (ou la masse) du modèle évaluée aux données, lue comme fonction du paramètre.
« En discret chaque facteur est une probabilité, donc le produit en est une ; en continu chaque facteur est un taux, donc le produit n'est borné par rien. »
QEn MLE, que fait-on de la densité p(x ; θ) — on l'intègre ou on l'évalue ?›
On l'évalue en chaque point observé : c'est un nombre, comme f(3) = 9 pour f(x) = x². L'intégrale ne sert qu'à une probabilité sur un intervalle, question qu'on ne pose pas.
« On cherche le θ qui rend les points observés les plus plausibles, donc on lit la hauteur de la densité en chaque xi, donc la vraisemblance est un produit de valeurs, pas d'aires. »
QPourquoi écrire p(y | x ; β) et non p(y | x, β) en cadre fréquentiste ? Et qu'autorise le produit ∏i ?›
Le point-virgule marque que β est un paramètre fixe, pas une variable aléatoire sur laquelle on conditionne. Le produit est autorisé par l'indépendance des observations (conditionnellement à x et β).
« En fréquentiste β n'a pas de loi, donc on ne peut pas conditionner dessus, donc on l'écrit après un point-virgule ; les observations sont indépendantes, donc la vraisemblance jointe se factorise. »
MLE — le geste et ses défauts
QPourquoi maximise-t-on log L(θ) plutôt que L(θ) ? Quatre raisons.›
(1) Le log est strictement croissant → même argmax. (2) Produit → somme, dérivable terme à terme. (3) Stabilité numérique : 0,9 × 0,5 × 0,3 devient une somme de logs, pas d'underflow. (4) Bernoulli : k log p + (n − k) log(1 − p), dérivable en une ligne.
« Le log est croissant, donc il conserve l'argmax, donc on transforme un produit en somme, donc la dérivée et la numérique deviennent triviales. »
QPourquoi minimiser la NLL revient-il à faire du MLE ?›
argmax L = argmax log L (log croissant) = argmin(−log L). Le MLE en une ligne : θ̂ = argmaxθ log L(θ) ; minimiser la NLL est le même objet, écrit pour un optimiseur qui descend.
« Maximiser une fonction, c'est minimiser son opposé, donc minimiser −log L revient à maximiser L, donc la NLL est le MLE tel que le voit une descente de gradient. »
QDensité gaussienne sous les yeux : les trois pas mécaniques vers la log-vraisemblance développée ?›
1. log(ab) = log a + log b sépare la constante de l'exponentielle. 2. log(eu) = u fait tomber l'exponentielle. 3. On somme sur i : ℓ(μ, σ²) = −(n/2)log(2πσ²) − Σ(xi − μ)²/(2σ²).
Le terme en Σ(xi − μ)² est la somme des carrés : c'est là que naît « OLS = MLE gaussien » (fiche 05).
« Le log du produit est la somme des logs, donc chaque terme se sépare en constante plus exposant, donc il reste une somme de carrés pondérée par −1/(2σ²). »
QQuel est le défaut du MLE, illustré par 3 lancers → PPP ?›
0 face observée → p̂ = k/n = 1 : il déclare impossible ce qu'il n'a pas vu. Le MLE ne croit que l'observé.
Conséquence aval : une probabilité exactement nulle empoisonne tout produit — en NLP un mot jamais vu met la vraisemblance d'une phrase entière à 0. D'où le lissage, qui est un MAP.
« Le MLE maximise la vraisemblance des seules données vues, donc avec trois succès il met 1 sur le succès, donc il assigne 0 à l'échec, donc toute prédiction future contenant un échec devient impossible. »
MAP, priors conjugués, posterior
QÉcris le MAP et dis ce qu'il ajoute au MLE.›
θ̂MAP = argmaxθ [log P(D | θ) + log P(θ)]. Même geste (log → dérive → annule), autre objet : le posterior. On jette P(D), constant en θ.
« Le posterior est proportionnel à vraisemblance fois prior, donc son log est la log-vraisemblance plus le log prior, donc le MAP est un MLE pénalisé par le prior. »
QMise à jour conjuguée : Beta(α, β) puis k succès et n − k échecs → posterior ?›
Beta(α + k, β + n − k). On ajoute les succès à α, les échecs à β : pas d'intégrale, pas de P(D). Lecture : (α − 1) succès et (β − 1) échecs imaginaires ; Beta(1,1) = uniforme. MAP = (α + k − 1)/(α + β + n − 2).
Pourquoi la Beta : elle vit sur [0,1], donc c'est une distribution sur une probabilité ; une Normale donnerait du poids à p = 1,5. Pourquoi conjuguée : likelihood ∝ θk(1 − θ)n−k, prior ∝ θα−1(1 − θ)β−1, le produit additionne les exposants.
« Le prior et la vraisemblance ont la même forme en θ, donc leur produit additionne les exposants, donc le posterior est encore une Beta dont les paramètres comptent les succès et les échecs. »
QQuand MAP et MLE coïncident-ils ? Deux régimes, qui n'ont pas le même statut.›
Prior uniforme → identité exacte à tout n (le log prior est constant, l'argmax ne bouge pas). n grand → coïncidence asymptotique : Σ log p(xi | θ) croît en n, log p(θ) reste fixe. MLE = cas particulier du MAP à prior plat.
Le prior ne compte que s'il est informatif ET qu'il y a peu de données.
« Un prior plat ajoute une constante, donc l'argmax est le même ; un prior informatif ajoute un terme fixe face à une somme qui croît en n, donc il est noyé quand n grandit. »
QPourquoi MCMC et VI existent-ils, et quel est leur trade-off ?›
Le posterior complet exige P(D) = ∫ likelihood × prior dθ, souvent intraitable (haute dimension, pas de conjugué). MCMC échantillonne le posterior : lent mais exact asymptotiquement. VI optimise une approximation simple (minimise une KL) : rapide mais approximatif — il transforme l'intégration en optimisation.
Un prior conjugué n'est pas obligatoire : c'est un luxe de calcul. Sans conjugué, le MAP reste faisable (optimisation, pas de P(D)) ; c'est le posterior complet qui coûte. Cousin en DL : les VAE.
« Le posterior exige une intégrale sur θ, donc en haute dimension elle est intraitable, donc soit on l'échantillonne, MCMC, soit on la remplace par une optimisation, VI. »
Régularisation = prior
QRégularisation L2 : d'où sort λ‖θ‖² d'un point de vue probabiliste ? Dérivation complète.›
MAP avec un prior gaussien N(0, τ²) sur les poids : −log P(θ) = θ²/(2τ²) + cste. Maximiser log L + log P(θ) = minimiser NLL + θ²/(2τ²), donc λ = 1/(2τ²). Le weight decay est un prior gaussien déguisé.
« Un prior gaussien centré a pour log une parabole en θ, donc le MAP ajoute un terme quadratique à la NLL, donc c'est exactement la pénalité L2 avec λ = 1/(2τ²). »
QQuel prior équivaut à L1 (Lasso) ?›
Prior de Laplace centré : P(θ) ∝ e−|θ|/b, donc −log P(θ) ∝ |θ|. Le pic anguleux en 0 met des poids exactement à 0 → sparsité = sélection de features automatique.
« Le log d'une Laplace est linéaire en |θ|, donc le MAP ajoute une pénalité en valeur absolue, donc c'est le Lasso. »
QPourquoi L1 met-elle des poids exactement à 0, et pas L2 ?›
La force de rappel vers 0 est la dérivée de la pénalité. L2 (θ²) : dérivée 2θ, qui s'évanouit près de 0 — le poids ralentit sans jamais arriver. L1 (|θ|) : dérivée ±1, constante — le poids arrive à 0 et y reste.
Image : L2 = ressort (faible au centre), L1 = tapis roulant à vitesse constante. Même fait, deux angles : géométrique (la boule L1 a des coins sur les axes) et dérivée.
« La pénalité L2 tire proportionnellement à θ, donc la traction disparaît en approchant de 0, donc le poids n'y arrive jamais ; L1 tire à force constante, donc le poids atteint 0 et y reste. »
QLe pont L2 ↔ MAP : qu'est-ce qui fait consensus et qu'est-ce qui n'en fait pas ?›
Consensus : l'équivalence des formules — min[loss + λ‖θ‖²] = MAP à prior gaussien, fait mathématique dérivable. Pas de consensus : l'interprétation — le praticien voit un hyperparamètre validé par CV, le bayésien un prior. Même équation, trois vocabulaires (pénalité, prior, weight decay).
« L'égalité des formules se démontre, donc elle est un fait ; ce que λ « signifie » dépend du cadre, donc c'est une lecture, pas un théorème. »