- La vraisemblance d'un Bernoulli (p02-01) : pour k succès sur n tirages indépendants, L(p) = pk(1 − p)n−k. On ne la redérive pas.
- Bayes (p00-03) : π(p | D) = L(p) π(p) / P(D), donc π(p | D) ∝ L(p) π(p) à données fixées. P(D) = ∫ L π ne dépend pas de p : il normalise, il ne déplace aucun maximum.
- Le MAP est un point (p02-02) : minimiser NLL + (−log prior), gaussien → Ridge, Laplace → Lasso, prior plat → MLE. C'est exactement ce que cette chaîne ne refait pas : elle reprend au point où p02-02 jette P(D).
- Notation, et elle compte ici. En fréquentiste p(D ; p) — point-virgule, le paramètre est un réglage fixe, il n'y a rien à conditionner. En bayésien π(p | D) — barre, le paramètre est une variable aléatoire. On réserve π aux lois sur le paramètre, pour ne pas confondre la densité et le paramètre, qui s'appellent tous deux p.
La chaîne
Le décor
Trois lancers, trois piles. La vraisemblance L(p) = p³ est strictement croissante sur [0, 1] : son maximum est au bord.
Le maximum de vraisemblance ne croit que ce qu'il a vu. À n petit, ce qu'il a vu peut être un bord, et il en fait une certitude.
« La vraisemblance p³ est croissante, donc son maximum est au bord de l'intervalle, donc p = 1, donc le modèle déclare l'échec impossible. »
PPP. p = 3/3 = 1 ⇒ P(face) = 0. Symétriquement FFF donne p = 0. Aucun intervalle de Wald ne sauve ce cas : p(1 − p) = 0, l'erreur standard estimée vaut 0 et l'intervalle est le point {1}.
Le même accident, en NLP. Un mot du vocabulaire absent du corpus reçoit c/n = 0. La probabilité d'une phrase est le produit de celles de ses mots : un seul zéro met la phrase entière à 0, et sa log-probabilité à −∞. Un comptage nul ne dit pas « impossible », il dit « pas encore vu » — et rien dans le MLE ne fait la différence.
Le prior conjugué tronc
La densité Beta a la même forme en p que la vraisemblance : π(p) ∝ pα−1(1 − p)β−1. Multiplier deux puissances de p revient à additionner leurs exposants :
On reconnaît la famille, donc la constante de normalisation est connue d'avance : P(D) n'est jamais calculé. C'est cela, un prior conjugué — une famille stable par mise à jour.
« Le prior et la vraisemblance ont la même forme en p, donc leur produit est encore une Beta, donc la mise à jour est arithmétique : les succès entrent dans α, les échecs dans β. »
| prior | posterior | moyenne | mode (MAP) |
|---|---|---|---|
| Beta(1, 1) — uniforme | Beta(4, 1) | 4/5 = 0,8 | 3/3 = 1 |
| Beta(2, 2) | Beta(5, 2) | 5/7 = 0,714 | 4/5 = 0,8 |
| Beta(5, 5) | Beta(8, 5) | 8/13 = 0,615 | 7/11 = 0,636 |
Moyenne d'une Beta(a, b) : a/(a+b). Mode : (a−1)/(a+b−2). Le MLE, lui, vaut 1 dans les trois lignes : il ne voit pas le prior.
Sous prior uniforme, le mode vaut encore 1 — le prior plat ne déplace pas l'argmax, c'est le MLE = MAP à prior plat de p02-02. La moyenne, elle, a déjà bougé à 0,8 : c'est la largeur du posterior qui parle, pas son sommet.
Pointillé = prior, trait fin = vraisemblance normalisée, trait épais = posterior ; les trois densités sont ramenées à la même hauteur pour rester lisibles quand le posterior se resserre. Dans le cadre : trait vert = moyenne postérieure, pointillé rouge = mode (MAP), trait gris = MLE k/n, barre violette au ras de l'axe = intervalle crédible à 90 %. Sous prior uniforme le trait fin et le trait épais se superposent exactement : le posterior est la vraisemblance renormalisée. Monte n à k/n constant : à n = 3 le posterior est large et tiré par le prior, à n = 300 c'est un pic sur k/n et les trois marques se confondent. Le pas 4 dit laquelle des trois rapporter.
Lecture en pseudo-comptes
La mise à jour additionne des comptes : c'est qu'un prior Beta est un jeu de comptes. Beta(α, β) se lit « (α − 1) succès et (β − 1) échecs vus d'avance ».
Beta(1, 1) = uniforme = zéro pseudo-compte : le posterior est la vraisemblance renormalisée. Beta(2, 2) = un succès et un échec vus d'avance : les deux comptes du posterior sont ≥ 1, donc son mode n'est jamais 0 ni 1. Le prior ne corrige pas une erreur de calcul, il refuse une conclusion que trois lancers ne peuvent pas porter.
« Un prior Beta est un jeu de comptes imaginaires, donc la mise à jour les additionne aux comptes réels, donc α + β − 2 mesure la force du prior en nombre d'observations, donc un prior fort à petit n décide seul. »
PPP sous Beta(2, 2). 1 + 3 = 4 succès, 1 + 0 = 1 échec ⇒ Beta(5, 2). Mode 4/5 = 0,8, moyenne 5/7 = 0,714. Ni 0 ni 1, avec deux observations imaginaires seulement.
Le cas miroir, FFF (k = 0, n = 3) : Beta(2, 5). Moyenne 2/7 = 0,286, mode 1/5 = 0,2. Le MLE disait 0.
La force se lit. Beta(5, 5) = 8 observations imaginaires contre 3 réelles : le posterior Beta(8, 5) a pour moyenne 0,615, à peine décollé du 0,5 du prior. Trois lancers ne renversent pas huit.
Trois résumés du posterior
Le posterior est une loi ; on en rapporte des nombres, et ils ne coïncident pas dès qu'il est asymétrique.
avec a = α + k et b = β + n − k. Le lissage de Laplace (k+1)/(n+2) est ce posterior lu deux fois : c'est la moyenne sous prior uniforme, et le mode sous Beta(2, 2). Même nombre, deux lectures — ce n'est pas une recette, c'est un posterior résumé.
« Le posterior est une loi, donc un seul nombre en perd la largeur, donc on choisit le résumé selon l'usage, donc une décision qui multiplie p par un montant prend la moyenne et non le mode. »
| posterior | mode | moyenne | IC 90 % |
|---|---|---|---|
| Beta(4, 1) — prior uniforme | 1 | 0,8 | [0,473 ; 0,987] |
| Beta(5, 2) — prior Beta(2, 2) | 0,8 | 0,714 | [0,418 ; 0,937] |
Laplace. (3 + 1)/(3 + 2) = 0,8 = moyenne de Beta(4, 1) = mode de Beta(5, 2). Les deux lectures tombent sur le même 0,8 ici.
Pourquoi la moyenne pour décider. La probabilité prédictive du prochain lancer est exactement la moyenne postérieure, pas le mode. Parier 100 € sur ce lancer vaut 100 × 0,8 = 80 € en espérance ; le MAP dirait 100 €. Les 20 € d'écart sont la largeur du posterior, que le mode a jetée.
Et l'IC à 90 % va de 0,473 à 0,987 : après trois lancers, p = 0,5 n'est pas exclu. C'est cela que « p = 1 » cachait.
Le prior est noyé quand n grandit tronc
Écrire le posterior en log sépare deux objets de nature différente :
Le premier terme est une somme de n termes : il croît avec n. Le second est une constante en n : il ne croît pas. Une somme qui grandit contre une constante qui ne bouge pas — le rapport tend vers zéro, et le sommet du posterior glisse vers celui de la vraisemblance. Le prior ne compte que s'il est informatif et que n est petit.
« La log-vraisemblance est une somme de n termes, donc elle croît avec n, donc le log-prior, constant, est noyé, donc MAP et MLE coïncident asymptotiquement. »
| n | posterior | moyenne | MAP | MAP − MLE | écart-type |
|---|---|---|---|---|---|
| 3 | Beta(5, 2) | 0,714 | 0,800 | 0,200 | 0,160 |
| 30 | Beta(32, 2) | 0,941 | 0,969 | 0,031 | 0,040 |
| 300 | Beta(302, 2) | 0,993 | 0,997 | 0,003 | 0,005 |
L'écart MAP − MLE vaut exactement (α−1)/(α+β+n−2), ici 1/(n+2) : le numérateur est la force du prior, le dénominateur grandit avec les données. À n = 3 le prior déplace l'estimation de 20 points ; à n = 300, de 3 millièmes.
L'écart-type du posterior suit la même mécanique : il décroît en 1/√n, de 0,160 à 0,005. Ce n'est pas le prior qui rétrécit le posterior, ce sont les n termes de la somme.
Les deux termes du log-posterior, évalués en un candidat fixe p0 = 0,9, pour k = n. Le trait épais est |log L(p0)| = n·|log 0,9| — une droite, puisque c'est une somme de n termes égaux. Le trait fin horizontal est |log π(p0)|, qui ne dépend pas de n. Monte la force du prior (le curseur règle α = β) : la constante monte, le croisement recule, mais la droite finit toujours par passer devant. Le pointillé rouge marque le croisement, la barre grise le n courant.
Sans conjugué
Hors des quelques familles conjuguées, la constante manque et il faut l'intégrer :
Le MAP y échappe : c'est un argmax, et P(D) est une constante multiplicative qui ne déplace aucun argmax. Il reste une optimisation, faisable en n'importe quelle dimension — c'est toute p02-02. C'est le posterior entier qui coûte.
Deux sorties, à nommer sans les dérouler. MCMC : construire une chaîne de Markov dont la loi stationnaire est le posterior, et en collecter des échantillons — le rapport de deux densités suffit, P(D) s'annule ; exact à la limite, lent. VI : choisir une famille simple q et minimiser une divergence KL vers le posterior — un problème d'optimisation, donc rapide, mais biaisé par la famille choisie.
« Le MAP est un argmax, donc P(D) ne le déplace pas et une optimisation suffit ; la loi entière demande P(D), donc on l'échantillonne par MCMC ou on l'approche par une famille simple en VI. »
Une grille à 100 points par axe : d = 2 → 104 évaluations, tenable ; d = 5 → 1010 ; d = 10 → 1020. Un modèle linéaire à 50 features est déjà hors d'atteinte, un réseau en compte 106 et plus.
| ce qu'on veut | coût | outil |
|---|---|---|
| un point | optimisation | MAP — P(D) ignoré |
| la loi, famille conjuguée | arithmétique | mise à jour des paramètres |
| la loi, d grand | échantillonnage | MCMC — exact à la limite, lent |
| la loi, d grand, vite | optimisation | VI — rapide, biais de famille |
D'où la hiérarchie honnête : si un point suffit, prendre le MAP ; si la largeur porte la décision et que la dimension est petite, le conjugué la donne gratuitement ; sinon, MCMC ou VI, et le choix est un arbitrage temps contre exactitude.
Où ça casse casse
La mise à jour conjuguée est si confortable qu'on oublie ce qu'elle a coûté : une forme de prior choisie pour le calcul, et un résumé choisi à la place d'une loi.
« Un conjugué se choisit pour la commodité du calcul, donc il peut imposer une forme fausse ; et à petit n le posterior est surtout le prior, donc le rapporter sans dire lequel on a mis n'est pas un résultat. »
- Le conjugué est un luxe de calcul, pas une nécessité. Beta est commode parce qu'elle a la forme de la vraisemblance — ce n'est pas un argument sur le monde. Si la croyance réelle est bimodale (« la pièce est truquée, d'un côté ou de l'autre »), aucune Beta ne la porte, et prendre une Beta quand même, c'est laisser la commodité écrire l'hypothèse.
- Prior informatif et n petit : le résultat est le prior. Beta(5, 5) sur trois lancers donne 0,615, à un demi-point du 0,5 de départ. Rien n'est faux, mais rapporter 0,615 sans nommer le prior fait passer une croyance pour une mesure. Le dire, ou mettre un prior faible.
- En haute dimension, le conjugué disparaît. Il ne reste que le MAP (optimisation) ou une approximation du posterior. MCMC est exact à la limite mais on ne sait jamais vraiment quand la limite est atteinte ; VI converge vite et sous-estime presque toujours la variance. On ne choisit pas entre « la vérité » et « une approximation », mais entre deux compromis.
- MAP ≠ moyenne dès que la Beta est asymétrique. Beta(4, 1) : mode 1, moyenne 0,8. Une décision qui multiplie p par un montant veut la moyenne — ou mieux, toute la loi. Rapporter le MAP seul quand le posterior est large, c'est refaire au bayésien ce que le MLE faisait au pas 1.
Résumé
- Le MLE ne croit que le vu : PPP ⇒ p = 1, l'échec devient impossible. Un prior sur [0, 1] répare — pas une normale, une Beta.
- Beta est conjuguée de Bernoulli : posterior = Beta(α + k, β + n − k). Mise à jour arithmétique, P(D) jamais calculé.
- Pseudo-comptes : Beta(α, β) = (α−1) succès et (β−1) échecs imaginaires, force α+β−2. Laplace (k+1)/(n+2) = moyenne sous Beta(1,1) = mode sous Beta(2,2) = 0,8 sur PPP.
- Trois résumés — mode, moyenne, intervalle crédible — qui diffèrent quand la Beta est asymétrique. La moyenne est la probabilité prédictive du prochain tirage ; c'est elle qu'une décision multiplie.
- Le prior est noyé quand n grandit : somme de n termes contre une constante. Écart MAP − MLE = (α−1)/(α+β+n−2) : 0,200 à n = 3, 0,003 à n = 300.
- Sans conjugué : le MAP reste une optimisation, le posterior entier exige MCMC (échantillonner, exact à la limite, lent) ou VI (minimiser une KL, rapide, biaisé).
Chaîne verbalisée — une prise, à voix haute
- Que dit le MLE après PPP, et pourquoi c'est un problème ?L(p) = p³ croît, maximum au bord : p̂ = 1. L'échec devient impossible. Même accident en NLP : un mot jamais vu met la phrase entière à probabilité 0.
- Pourquoi une Beta, et que vaut le posterior ?Une loi sur [0, 1], donc sur une probabilité ; et de même forme que la vraisemblance, donc le produit reste une Beta : Beta(α + k, β + n − k). PPP sous uniforme → Beta(4, 1).
- Qu'est-ce que le lissage de Laplace, au juste ?(k + 1)/(n + 2) : la moyenne du posterior sous prior uniforme — et le mode sous Beta(2, 2). Sur PPP, 4/5 = 0,8. Deux pseudo-comptes, un succès et un échec.
- Pourquoi le prior est-il noyé quand n grandit ?log posterior = somme de n log-vraisemblances + log-prior. La somme croît en n, la constante non. Écart MAP − MLE = (α−1)/(α+β+n−2) : 0,2 à n = 3, 0,003 à n = 300.
- Pourquoi MCMC et VI existent-ils ?Hors conjugué, P(D) = ∫ L π dθ est intraitable en dimension d. Le MAP s'en passe (argmax). La loi entière, non : MCMC l'échantillonne, VI l'approche par une famille simple en minimisant une KL.
Ponts et cartes
stats::beta (Beta(α+k, β+n−k), pseudo-comptes, moyenne vs mode) · stats::bayes (posterior ∝ vraisemblance × prior, P(D) normalise) · stats::map (MAP = mode, un point d'une loi) · stats::mle-map (MLE = MAP à prior plat ; le prior noyé en 1/(n+2)).
La carte qui demande « pourquoi le prior est noyé » se répond par une seule phrase : somme de n termes contre une constante. Si elle résiste encore, c'est la figure 2 qu'il faut rejouer, pas la carte qu'il faut relire.