- Masse contre densité (p00-02). Pour un y continu, p(y) est une densité : on l'évalue en un point, on ne l'intègre pas. Elle peut dépasser 1 et ce n'est pas une probabilité. Pour un y discret, c'est une masse, et là c'en est une.
- Indépendance ⇒ produit (p00-03). Si les observations sont indépendantes sachant x et θ, la probabilité de les voir toutes est le produit de leurs probabilités individuelles. C'est la seule justification du produit du pas 4.
- Le log ne déplace pas l'argmax. log est strictement croissante, donc argmax L = argmax log L ; et log(ab) = log a + log b transforme le produit en somme.
- Les calculs de cette chaîne sont faits ailleurs. Le déroulé D4 refait les six pas ligne à ligne sur les trois mêmes exemples. Ici on garde les règles et les points d'arrêt.
La chaîne
Le décor
Un modèle f(x ; θ), des données (xi, yi), et l'envie d'un θ. Pour départager les candidats il faut un critère — et ce critère ne se décrète pas : il va se déduire.
La seule chose qu'on posera dans toute la chaîne est la loi du bruit. Tout ce qui suit est du calcul, sans un seul choix supplémentaire.
« Il faut un critère pour ranger les candidats θ, donc la question est d'où il sort, donc on ne va pas le choisir mais le déduire d'une seule hypothèse. »
| exemple | données | modèle |
|---|---|---|
| régression | x = (1, 2, 3), y = (1, 2, 3) | f(x ; β) = βx |
| classification | x = (−2, −1, 1, 2), y = (0, 0, 1, 1) | p = σ(βx) |
| trois classes | un exemple, logits z = (2, 0, −1) | softmax(z) |
| la pièce | trois tirages, trois succès (PPP) | un seul p |
Minuscules exprès : chaque pas de la chaîne sera chiffré à la main, et deux d'entre eux casseront.
L'hypothèse de bruit tronc
Le modèle ne passe pas par les points : ce qui reste est le bruit, et on lui donne une loi. Deux écritures, la même chose :
La seconde est la bonne quand l'additivité n'a pas de sens : un y à valeurs 0/1 ou une classe ne s'écrit pas « prédiction + erreur ».
« La loss n'est pas choisie, elle sera déduite, donc tout ce qu'on suppose est ici : la loi du bruit. »
| exemple | hypothèse de bruit |
|---|---|
| régression | εi ~ N(0, σ²), i.i.d. |
| même régression, queues lourdes | εi ~ Laplace(0, b) |
| classification | yi ~ Bernoulli(pi), pi = σ(βxi) |
| trois classes | yi ~ Catégorielle(softmax(zi)) |
Quatre lignes, quatre losses différentes à l'arrivée. Rien d'autre ne changera dans la chaîne.
Densité d'une observation
On injecte le résidu εi = yi − f(xi ; θ) dans la densité du bruit. Chaque observation reçoit un nombre, évalué en un point et non intégré :
Le 2 sous σ² fait partie de la gaussienne, il ne s'invente pas au pas suivant. Et c'est ici que le point-virgule se place : θ est fixe, il paramètre la densité.
« La densité du bruit est connue, donc on y injecte le résidu yi − f(xi ; θ), donc chaque observation reçoit un nombre — une densité évaluée en un point, jamais une aire. »
Régression, σ = 1. En β = 1 les trois résidus sont nuls : chaque densité vaut 1/√(2π) = 0,399. En β = 0 les résidus sont (1, 2, 3) : 0,242 · 0,054 · 0,0044.
Trois classes, z = (2, 0, −1) : e² = 7,389 ; e⁰ = 1 ; e⁻¹ = 0,368 ; somme 8,757. Softmax = (0,844 ; 0,114 ; 0,042). La densité de l'observation « chat » est 0,844 ; si la vraie classe était « oiseau », ce serait 0,042.
La pièce : trois succès, chacun de probabilité p. Trois nombres, tous égaux à p.
en haut : la densité · en bas : son −log, c'est-à-dire la loss
Déplace le résidu r = y − f(x ; θ). En haut, deux hypothèses de bruit : la gaussienne et la Laplace. En bas, en pointillé, le −log de chacune : c'est déjà la loss, à une constante près. Le −log de la gaussienne est un carré (0,919 + r²/2), celui de Laplace une valeur absolue (0,693 + |r|). Passe r de 1 à 4 : la part qui dépend de r passe de 0,5 à 8 côté gaussien (×16) et de 1 à 4 côté Laplace (×4) — la forme de la loss est la forme de l'exposant de la densité.
Produit
Les observations sont indépendantes sachant x et θ (H2), donc la probabilité de les voir toutes est le produit :
Données fixées, θ qui varie : ce n'est plus une densité sur y, c'est une fonction de θ. C'est ce retournement que le mot vraisemblance désigne — et ce n'est pas une loi sur θ : son intégrale ne vaut pas 1.
« Les observations sont indépendantes sachant x, donc leur probabilité jointe est le produit des densités, donc L(θ) est une fonction de θ à données fixées — une vraisemblance, pas une loi sur θ. »
Régression, σ = 1 : L(β) = (2π)−3/2 · exp(−RSS(β)/2) avec RSS(β) = Σ(yi − βxi)². En β = 1 : L = 0,0635. En β = 0 : 0,0635 · e−7 = 5,79·10−5.
La pièce : L(p) = p · p · p = p³.
Vérification qu'aucune loi ne se cache là : ∫01 p³ dp = 1/4 ≠ 1. La vraisemblance n'est pas normalisée en θ, et rien ne la normalisera avant le prior de p02-02.
Log
log est croissante, donc elle ne déplace pas l'argmax ; et elle change le produit en somme, dérivable terme à terme et calculable sans sous-débordement.
Le n devant la constante n'est pas décoratif : une constante par observation, parce qu'il y a n termes dans la somme.
« Le log est croissant, donc il ne déplace pas l'argmax, donc le produit devient une somme de n termes — dont n constantes, une par observation. »
Régression, n = 3, σ = 1 : RSS(β) = 14 − 28β + 14β² = 14(1 − β)², donc
ℓ(1) = −2,757 ; ℓ(0) = −9,757. La pièce : log L(p) = 3 log p, valant 0 en p = 1 et −2,079 en p = 0,5 — même sommet que p³.
Le sous-débordement, en un chiffre : mille densités à 0,01 donnent un produit de 10−2000, qui vaut exactement 0 en flottant 64 bits ; la somme des logs vaut −4 605 et se calcule sans effort. (Le même réflexe, plus fin, fait écrire log(1 + e−z) plutôt que log σ(z) — les flottants sont un sujet à part, p08-02.)
La pièce à trois succès : L(p) = p³ et son logarithme, en pointillé. Déplace p : les deux courbes n'ont pas la même forme du tout, et pourtant elles montent toutes les deux jusqu'au bord droit et culminent au même point, p = 1. C'est tout ce qu'on demande au log. Au passage la figure montre aussi ce que vaut le maximum de vraisemblance brut : il ne croit que ce qu'il a vu, et déclare l'échec impossible.
Négatif
Maximiser ℓ revient à minimiser son opposé. On pose
Rien d'autre n'a changé : mêmes termes, même argument, un signe. C'est ce signe, et lui seul, qui fabrique une loss à partir d'une vraisemblance.
« Maximiser ℓ revient à minimiser −ℓ, donc on pose NLL = −ℓ, donc une loss n'est rien d'autre qu'une log-vraisemblance retournée. »
Sur la régression, σ = 1 : NLL(β) = 2,757 + 7(1 − β)². Minimale en β = 1, valeur 2,757.
Sur la classification, en regroupant les quatre points : NLL(β) = 2 log(1 + e−β) + 2 log(1 + e−2β). NLL(0) = 4 log 2 = 2,773 ; NLL(2) = 0,290.
Jeter — puis s'arrêter tronc
L'argmin ne bouge ni sous une constante additive ni sous un facteur multiplicatif positif. On jette donc tout ce qui ne dépend pas de θ.
Ce qui reste porte un nom, et c'est le point d'arrêt de la chaîne : il n'y a rien à simplifier après, rien à continuer. Reconnaître le nom fait partie du geste au même titre que le calcul.
« La constante ne dépend pas de θ, donc elle ne déplace pas l'argmin, donc on la jette, donc ce qui reste est la loss, et sa forme est la forme de l'exposant de la densité. »
| bruit | ce qu'on jette | ce qui reste | son nom |
|---|---|---|---|
| N(0, σ²) | n log(σ√(2π)) et 1/(2σ²) | Σ ri² | MSE |
| Laplace(0, b) | n log(2b) et 1/b | Σ |ri| | MAE |
| Bernoulli(p) | rien | −Σ[y log p + (1−y) log(1−p)] | log-loss |
| Catégorielle | rien | −Σ log pyi | cross-entropy |
Régression : argmin [2,757 + 7(1−β)²] = argmin 14(1−β)² = argmin RSS, donc β = 1. La MSE n'a pas été choisie, elle est tombée.
Bernoulli et catégorielle : rien à jeter. Pas de paramètre de dispersion séparé — la variance p(1 − p) est fixée par la moyenne. La NLL est la loss, telle quelle. Sur les trois classes : cross-entropy = −log 0,844 = 0,170 si la vraie classe est chat, −log 0,042 = 3,17 si c'est oiseau. Le nom est là, on s'arrête.
Un seul exemple, une probabilité prédite p pour la classe 1. La log-loss quand y = 1 est −log p, la log-loss quand y = 0 est −log(1 − p) ; en pointillé, la MSE (1 − p)² pour comparaison. Glisse p vers 0 avec y = 1 : la log-loss part vers l'infini (4,61 en p = 0,01) pendant que la MSE plafonne à 0,98. La log-loss n'est pas bornée, la MSE l'est : se tromper avec certitude coûte sans limite d'un côté, et à peine plus que « je ne sais pas » de l'autre. Même lecture à trois classes : la cross-entropy est ce même −log lu sur la probabilité de la vraie classe.
Ce que chaque loss estime
Changer d'hypothèse de bruit ne change pas seulement la robustesse : ça change la quantité estimée.
« Laquelle veux-tu prédire ? » est donc une question qui précède toute considération de robustesse, et qui se pose dès le pas 2.
« Le minimiseur de Σ(y − c)² est la moyenne et celui de Σ|y − c| est la médiane, donc changer le bruit change la quantité estimée, donc MSE et MAE ne sont pas deux précisions du même nombre mais deux nombres. »
y = (1, 2, 3, 4, 20). Moyenne 6, médiane 3.
| c | Σ(y − c)² | Σ|y − c| |
|---|---|---|
| 3 (médiane) | 295 | 21 |
| 6 (moyenne) | 250 | 28 |
Chacune gagne chez elle. Le seul point à 20 déplace la moyenne de 3 à 6 et ne déplace pas la médiane : sous gaussienne un résidu de 10 coûte 100 fois un résidu de 1, sous Laplace il coûte 10 fois. L'influence d'un point est non bornée d'un côté, bornée de l'autre.
Sur une cible asymétrique — revenus, durées, temps de réponse — moyenne et médiane ne coïncident pas, et le choix de la loss est un choix de cible.
Le geste, en arrière
Personne ne dit « je suppose un bruit de Laplace » : on choisit la MAE, et l'hypothèse est reconstituée après coup. Savoir faire le trajet dans ce sens est ce qui distingue une réponse d'un slogan.
Devant une loss inconnue : quel exposant, donc quelle densité, donc quel bruit, donc quelle cible ?
« La loss est le −log d'une densité, donc son exposant est celui de la densité, donc un carré trahit une gaussienne et une valeur absolue une Laplace, donc la bonne phrase est la MAE suppose des queues exponentielles et estime la médiane. »
| ce qu'on lit | exposant | bruit supposé | cible |
|---|---|---|---|
| Σ(y − f)² | carré | gaussien | moyenne |
| Σ|y − f| | valeur absolue | Laplace | médiane |
| −Σ[y log p + …] | log d'une puissance | Bernoulli | probabilité |
| −log py | log d'une puissance | catégorielle | probabilité |
Le lien cross-entropy ↔ MLE, en quatre pas, quand la mémoire lâche : (1) une loi paramétrée pour y sachant x — ici une catégorielle de paramètre softmax(z) ; (2) la probabilité d'une observation — py, la coordonnée de la vraie classe ; (3) le produit sur les observations ; (4) argmax, donc argmin du −log. On arrive sur −Σ log pyi : la cross-entropy est le maximum de vraisemblance d'une catégorielle, pas une loss inventée à part.
Où ça casse casse
Le geste est mécanique, mais ses deux appuis — l'indépendance et la vraisemblance seule — lâchent dans des cas précis, et toujours pour la même raison : la vraisemblance ne détermine parfois rien du tout.
« Le produit suppose l'indépendance et le maximum de vraisemblance ne croit que ce qu'il a vu, donc la vraisemblance seule peut ne rien déterminer — trop de solutions, ou aucune — donc il faudra lui ajouter quelque chose, et ce sera le prior. »
- Le produit est interdit dès qu'il y a dépendance. Séries temporelles, mesures répétées sur un même sujet, phrases d'un même document : la jointe ne se factorise pas et le produit compte plusieurs fois la même information. La vraisemblance obtenue est trop piquée, donc toute barre d'erreur qui en sort est trop étroite.
- Le maximum de vraisemblance ne croit que ce qu'il a vu. Pièce PPP : L(p) = p³, maximale en p = 1 — « un échec est impossible » après trois tirages (figure 2). Même mécanisme en langue : un mot jamais vu reçoit la probabilité 0, donc toute phrase qui le contient devient impossible. Remède : ajouter une croyance — prior, ou lissage (3+1)/(3+2) = 0,8 — c'est p02-02.
- Parfois il n'y a pas de minimum du tout. Séparation parfaite : la NLL décroît vers 0 sans jamais l'atteindre, donc β n'existe pas et ‖β‖ → ∞ (figure 4). Le solveur s'arrête sur son nombre d'itérations avec un coefficient énorme, ce qui ressemble à un résultat sans en être un.
- σ a disparu au pas 7, et c'était légitime : il ne déplace pas l'argmin en β. Mais une barre d'erreur sur β, elle, en a besoin — il faut le récupérer, σ² = RSS/n. Jeter pour optimiser ne veut pas dire jeter pour conclure : c'est le retour du fil A, p01-03.
L'exemple de classification, x = (−2, −1, 1, 2) et y = (0, 0, 1, 1) : toute pente β > 0 classe les quatre points correctement. Monte β : la NLL descend vers 0 sans jamais l'atteindre et sa pente reste strictement négative — pour tout β, doubler β fait mieux. Il n'y a pas d'argmin, et ce n'est pas un défaut du calcul : les données disent « n'importe quelle pente pourvu qu'elle soit infinie ». La pénalité de p02-02 ne rendra pas la solution meilleure, elle la fera exister.
Résumé
- Une seule hypothèse dans toute la chaîne : la loi du bruit (plus l'indépendance, qui autorise le produit).
- Six pas mécaniques : densité → produit → log → négatif → jeter → nommer. Le nom est le point d'arrêt.
- Gaussien → MSE (σ² jeté) ; Laplace → MAE ; Bernoulli → log-loss (rien à jeter) ; catégoriel → cross-entropy = −log py.
- La forme de la loss est la forme de l'exposant de la densité : carré ⇒ gaussienne, valeur absolue ⇒ Laplace.
- Chaque loss estime une cible différente : moyenne, médiane, probabilité. Le geste se lit aussi à l'envers, de la loss vers le bruit.
- Ça casse par : dépendance (produit interdit), p = 1 du maximum de vraisemblance, séparation parfaite (pas de minimum), σ jeté dont une barre d'erreur a pourtant besoin.
Chaîne verbalisée — une prise, à voix haute
- Quelle est la seule hypothèse de la chaîne ?La loi du bruit — et l'indépendance conditionnelle, qui autorise le produit. Tout le reste est du calcul.
- Déroule les six pas sur un bruit gaussien.Densité exp(−r²/2σ²)/(σ√2π) → produit → log (−n log(σ√2π) − RSS/2σ²) → négatif → jeter la constante et le facteur 1/(2σ²) → MSE.
- Que jette-t-on avec Bernoulli ?Rien : pas de paramètre de dispersion séparé, la variance p(1−p) est fixée par la moyenne. La log-loss est la NLL telle quelle, et c'est le point d'arrêt.
- La cross-entropy à trois classes, c'est quoi ?La NLL d'une catégorielle : −log de la probabilité softmax de la vraie classe. Sur z = (2, 0, −1) : −log 0,844 = 0,170 pour chat, −log 0,042 = 3,17 pour oiseau.
- Que casse la séparation parfaite ?La NLL décroît vers 0 sans l'atteindre : pas de minimum, ‖β‖ → ∞. Le maximum de vraisemblance n'existe pas.
- Que suppose la MAE, et qu'estime-t-elle ?Un bruit de Laplace — queues exponentielles. Elle estime la médiane conditionnelle, pas la moyenne : une autre quantité, pas la même en plus prudent.
Ponts et cartes
stats::vraisemblance (fonction de θ à données fixées, pas une loi sur θ) · stats::mle (les six pas, p = 1 sur PPP) · ml::regression-lineaire (MSE ← gaussienne, σ² = RSS/n) · ml::logistique (log-loss ← Bernoulli, séparation parfaite) · dl::cross-entropy (−log py, NLL d'une catégorielle).
Une carte qui résiste après cette chaîne est une carte à refondre, pas une section à relire.