- Masse contre densité (l04, notion 2). Pour un y continu, p(y) est une densité : on l'évalue en un point, on ne l'intègre pas. Elle peut dépasser 1 et ce n'est pas une probabilité. Pour un y discret, c'est une masse, et là c'en est une.
- Indépendance ⇒ produit (l03, notion 7). Si les observations sont indépendantes sachant x et θ, la probabilité de les voir toutes est le produit de leurs probabilités individuelles. C'est la seule justification du produit du pas 3.
- Le log ne déplace pas l'argmax. log est strictement croissante, donc argmax L = argmax log L ; et log(ab) = log a + log b transforme le produit en somme.
- Les calculs de cette chaîne sont faits ailleurs. Le déroulé D4 refait les six pas ligne à ligne sur les trois mêmes exemples. Ici on garde les règles et les points d'arrêt.
La chaîne
Le décor
Un modèle f(x ; θ), des données (xi, yi), et l'envie d'un θ. Pour départager les candidats il faut un critère — et ce critère ne se décrète pas : il va se déduire.
Une seule hypothèse de modélisation — la loi de y sachant x, c'est elle qu'on appelle « le bruit » — dans un cadre fixé une fois pour toutes par H1–H3 (y sachant x, indépendance, θ fixe). Tout ce qui suit est du calcul, sans un seul choix supplémentaire.
« Il faut un critère pour ranger les candidats θ, donc la question est d'où il sort, donc on ne va pas le choisir mais le déduire d'une seule hypothèse. »
| exemple | données | modèle |
|---|---|---|
| régression | x = (1, 2, 3), y = (1, 2, 3) | f(x ; β) = βx |
| classification | x = (−2, −1, 1, 2), y = (0, 0, 1, 1) | p = σ(βx) |
| trois classes | une observation, classes chat, chien, oiseau ↔ k = 1, 2, 3 ; logits z = (2, 0, −1) ; vraie classe chat | softmax(z) |
| la pièce | trois tirages, trois succès (PPP) | un seul p |
Minuscules exprès : chaque pas de la chaîne sera chiffré à la main, et deux d'entre eux casseront.
Notations : i = observation, k = classe, j = indice muet de sommation ; pik = probabilité de la classe k pour l'observation i. Étiquette ci ∈ {1, …, K} et one-hot yik = 1[ci = k] : les deux écritures coexistent, et pi,ci = Πk pikyik. Le log est le logarithme naturel, ln, partout.
L'hypothèse : la loi de y sachant x tronc
Le modèle ne prédit pas y : il prédit les paramètres d'une loi sur y. C'est cette loi qu'on suppose, et rien d'autre — loi conditionnelle ou modèle d'observation en statistique, likelihood en ML probabiliste, composante aléatoire d'un GLM :
Quand f ne fait que translater la loi — gaussienne, Laplace : des familles de position — la même hypothèse s'écrit yi = f(xi ; θ) + εi avec εi ~ Loi(0, ·), et c'est de là, et de là seulement, que vient le mot « bruit » : au sens strict il ne désigne que ce ε. Bernoulli, catégorielle : f règle une probabilité, la dispersion p(1 − p) en découle, il n'y a aucun ε autonome à séparer. L'écriture additive est le cas particulier, pas la règle.
« La loss n'est pas choisie, elle sera déduite, donc tout ce qu'on suppose est ici : la loi de y sachant x — le bruit, quand il se sépare. »
| exemple | loi de yi sachant xi | écriture « prédiction + bruit » |
|---|---|---|
| régression | N(βxi, σ²) | yi = βxi + εi, εi ~ N(0, σ²) |
| même régression, queues lourdes | Laplace(βxi, b) | εi ~ Laplace(0, b) |
| classification | Bernoulli(σ(βxi)) | aucune : la loi de yi − pi dépend de xi |
| trois classes | Catégorielle(softmax(zi)) | aucune : une classe ne se soustrait pas |
Trois classes, en détail. y prend K = 3 valeurs, donc la loi est la catégorielle (multinoulli) — le mot est du vocabulaire, il se nomme. Paramètres (p1, p2, p3) dans le simplexe : pk ≥ 0, Σk pk = 1, donc K − 1 = 2 paramètres libres (Bernoulli : 2 valeurs, 1 paramètre). Qui fabrique les p : la softmax, dans le rôle de σ — pk = ezk / Σj ezj, strictement positive (une exponentielle) donc log pk toujours défini, et de somme Σk ezk / Σj ezj = 1. L'équivalent de β : un logit par classe, zk = wk · x, donc z = Wx avec W la matrice des wk. L'énoncé donne z directement, comme si W et x avaient été appliqués ; ce qu'on cherche est W.
Piège — softmax ≠ cross-entropy. La softmax transforme les logits en probabilités (rôle de σ) ; la cross-entropy est la loss qui tombera au pas 7. L'une est au pas 1, l'autre au pas 7.
Quatre lignes, quatre losses différentes à l'arrivée. Sur la classification, pi = 0,7 donnerait un « bruit » valant −0,7 ou +0,3, de variance 0,21 = pi(1 − pi) : rien de fixé une fois pour toutes, rien à supposer à part. Rien d'autre ne changera dans la chaîne.
Densité d'une observation
On évalue la loi du pas 1 en la valeur observée yi : chaque observation reçoit un nombre — une densité prise en un point, ou une masse — jamais une aire. Cas additif : c'est la densité du bruit prise au résidu εi = yi − f(xi ; θ). Cas discret : la masse de la classe observée.
Le 2 sous σ² fait partie de la gaussienne, il ne s'invente pas au pas suivant. Et c'est ici que le point-virgule se place : θ est fixe, il paramètre la densité.
« La loi de yi sachant xi est posée, donc on l'évalue en la valeur observée — au résidu quand le bruit se sépare, à la classe observée sinon — donc chaque observation reçoit un nombre : une densité prise en un point, jamais une aire. »
Régression, σ = 1. En β = 1 les trois résidus sont nuls : chaque densité vaut 1/√(2π) = 0,399. En β = 0 les résidus sont (1, 2, 3) : 0,242 · 0,054 · 0,0044.
Trois classes, z = (2, 0, −1) : e² = 7,389 ; e⁰ = 1 ; e⁻¹ = 0,368 ; somme 8,757. Softmax = (7,389/8,757 ; 1/8,757 ; 0,368/8,757) = (0,844 ; 0,114 ; 0,042). Vraie classe chat, one-hot y = (1, 0, 0) : Πk pkyk = p11 · p20 · p30 = p1 (a⁰ = 1, a¹ = a). La masse de l'observation « chat » — masse, pas densité : y est discret — est 0,844 ; si la vraie classe était « oiseau », ce serait 0,042.
La pièce : trois succès, chacun de probabilité p. Trois nombres, tous égaux à p.
en haut : la densité · en bas : son −log, c'est-à-dire la loss
Déplace le résidu r = y − f(x ; θ). En haut, deux hypothèses de bruit : la gaussienne et la Laplace. En bas, en pointillé, le −log de chacune : c'est déjà la loss, à une constante près. Le −log de la gaussienne est un carré (0,919 + r²/2), celui de Laplace une valeur absolue (0,693 + |r|). Passe r de 1 à 4 : la part qui dépend de r passe de 0,5 à 8 côté gaussien (×16) et de 1 à 4 côté Laplace (×4) — la forme de la loss est la forme de l'exposant de la densité.
Produit
Les observations sont indépendantes sachant x et θ (H2), donc la probabilité de les voir toutes est le produit :
« Indépendants » suffit pour le produit ; « identiquement distribués » sert seulement à ce que chaque facteur ait la même forme — mêmes β et σ.
Données fixées, θ qui varie : ce n'est plus une densité sur y, c'est une fonction de θ. C'est ce retournement que le mot vraisemblance désigne — et ce n'est pas une loi sur θ : son intégrale ne vaut pas 1.
« Les observations sont indépendantes sachant x, donc leur probabilité jointe est le produit des densités, donc L(θ) est une fonction de θ à données fixées — une vraisemblance, pas une loi sur θ. »
Régression, σ = 1 : L(β) = (2π)−3/2 · exp(−RSS(β)/2) avec RSS(β) = Σ(yi − βxi)². En β = 1, RSS(1) = 0 : L(1) = (2π)−3/2 = 0,399³ = 0,0635. En β = 0, RSS(0) = 1 + 4 + 9 = 14 : L(0) = 0,0635 · e−14/2 = 0,0635 · e−7 = 5,79·10−5.
La pièce : L(p) = p · p · p = p³.
Vérification qu'aucune loi ne se cache là : ∫01 p³ dp = 1/4 ≠ 1. La vraisemblance n'est pas normalisée en θ, et rien ne la normalisera avant le prior de p02-02.
Log
log est croissante, donc elle ne déplace pas l'argmax ; et elle change le produit en somme, dérivable terme à terme et calculable sans sous-débordement.
Le n devant la constante n'est pas décoratif : une constante par observation, parce qu'il y a n termes dans la somme.
« Le log est croissant, donc il ne déplace pas l'argmax, donc le produit devient une somme de n termes — dont n constantes, une par observation. »
Régression, n = 3, σ = 1. Σx² = 1 + 4 + 9 = 14, Σxy = 14, Σy² = 14, donc RSS(β) = Σy² − 2βΣxy + β²Σx² = 14 − 28β + 14β² = 14(1 − β)². Et ln √(2π) = 0,919, donc 3 × 0,919 = 2,757 :
Trois classes : log Πi Πk pikyik, deux règles nommées séparément — log d'un produit = somme des logs ; log d'une puissance = exposant × log — donne Σi Σk yik log pik. Un seul yik non nul par observation, donc Σk yik log pik = log pi,ci : ici 1 · ln 0,844 + 0 · ln 0,114 + 0 · ln 0,042 = ln 0,844 = −0,170.
ℓ(1) = −2,757 ; ℓ(0) = −9,757. La pièce : log L(p) = 3 log p, valant 0 en p = 1 et −2,079 en p = 0,5 — même sommet que p³.
Sous-débordement : mille densités à 0,01 font un produit de 10−2000, exactement 0 en flottant ; la somme des logs vaut −4 605 et se calcule. La forme stable de −log σ(z) est l'affaire de p08-02.
La pièce à trois succès : L(p) = p³ et son logarithme, en pointillé. Déplace p : les deux courbes n'ont pas la même forme du tout, et pourtant elles montent toutes les deux jusqu'au bord droit et culminent au même point, p = 1. C'est tout ce qu'on demande au log. Au passage la figure montre aussi ce que vaut le maximum de vraisemblance brut : il ne croit que ce qu'il a vu, et déclare l'échec impossible.
Négatif
Maximiser ℓ revient à minimiser son opposé. On pose
Piège de signe. Ce qu'on maximise est ℓ, la log-vraisemblance ; la cross-entropy est −ℓ. Appeler cross-entropy une somme qu'on maximise est une erreur de signe.
Rien d'autre n'a changé : mêmes termes, même argument, un signe. C'est ce signe, et lui seul, qui fabrique une loss à partir d'une vraisemblance.
« Maximiser ℓ revient à minimiser −ℓ, donc on pose NLL = −ℓ, donc une loss n'est rien d'autre qu'une log-vraisemblance retournée. »
Sur la régression, σ = 1 : NLL(β) = 2,757 + 7(1 − β)². Minimale en β = 1, valeur 2,757.
Sur la classification, deux identités : −log σ(t) = log(1 + e−t) et 1 − σ(t) = σ(−t). Terme x = 1, y = 1 : −log σ(β) = log(1 + e−β). Terme x = −1, y = 0 : −log(1 − σ(−β)) = −log σ(β) = log(1 + e−β). La paire ±1 donne 2 log(1 + e−β), la paire ±2 donne de même 2 log(1 + e−2β) :
NLL(0) = 4 ln 2 = 2,773 ; NLL(2) = 0,290.
Jeter tronc
L'argmin ne bouge ni sous une constante additive ni sous un facteur multiplicatif positif. On jette donc tout ce qui ne dépend pas de θ.
« La constante ne dépend pas de θ, donc elle ne déplace pas l'argmin, donc on la jette, donc ce qui reste est la loss, et sa forme est la forme de l'exposant de la densité. »
| bruit | ce qu'on jette | ce qui reste |
|---|---|---|
| N(0, σ²) | n log(σ√(2π)) et 1/(2σ²) | Σ ri² |
| Laplace(0, b) | n log(2b) et 1/b | Σ |ri| |
| Bernoulli(p) | rien | −Σ[y log p + (1−y) log(1−p)] |
| Catégorielle | rien | −Σi log pi,ci |
Régression : argmin [2,757 + 7(1−β)²] = argmin 14(1−β)² = argmin RSS, donc β = 1. Somme ici, moyenne dans les frameworks : le 1/n est un facteur positif de plus, jeté ou gardé, même argmin.
Jeter 1/(2σ²) suppose un σ commun à toutes les observations : c'est un facteur commun, donc il sort de la somme (un σi par observation : moindres carrés pondérés ; un σ(x) prédit par le modèle : le log σ dépend de θ, il ne se jette plus, c'est la Gaussian NLL). Même chose pour le b de Laplace.
Bernoulli et catégorielle : rien à jeter. Pas de paramètre de dispersion séparé — la variance p(1 − p) est fixée par la moyenne. La NLL est déjà la loss.
Nommer, s'arrêter tronc
Ce qui reste porte un nom : MSE, MAE, log-loss, cross-entropy. C'est le point d'arrêt de la chaîne : il n'y a rien à calculer après, rien à simplifier, rien à continuer. Reconnaître le nom fait partie du geste au même titre que le calcul.
« Ce qui reste porte un nom, donc la chaîne est finie, donc on s'arrête : la MSE n'a pas été choisie, elle est tombée d'un bruit gaussien, et la cross-entropy est le −log de la probabilité donnée à la vraie classe. »
| bruit | ce qui reste | son nom |
|---|---|---|
| N(0, σ²) | Σ ri² | MSE |
| Laplace(0, b) | Σ |ri| | MAE |
| Bernoulli(p) | −Σ[y log p + (1−y) log(1−p)] | log-loss |
| Catégorielle | −Σi log pi,ci | cross-entropy |
Régression : ce qui reste est la somme des carrés des résidus, MSE. La MSE n'a pas été choisie, elle est tombée. On s'arrête.
Trois classes : cross-entropy = −log de la probabilité donnée à la vraie classe, −ln pc. −ln 0,844 = 0,170 si la vraie classe est chat, −ln 0,042 = 3,17 si c'est oiseau. Contrôle : −ln pc = ln Σj ezj − zc = ln 8,757 − zc = 2,170 − zc : 2,170 − 2 = 0,170 et 2,170 + 1 = 3,17. Le nom est là, on s'arrête.
Un seul exemple, une probabilité prédite p pour la classe 1. La log-loss quand y = 1 est −log p, la log-loss quand y = 0 est −log(1 − p) ; en pointillé, la MSE (1 − p)² pour comparaison. Glisse p vers 0 avec y = 1 : la log-loss part vers l'infini (4,61 en p = 0,01) pendant que la MSE plafonne à 0,98. La log-loss n'est pas bornée, la MSE l'est : se tromper avec certitude coûte sans limite d'un côté, et au plus quatre fois « je ne sais pas » de l'autre (0,98 contre 0,25 en p = 0,5). Même lecture à trois classes : la cross-entropy est ce même −log lu sur la probabilité de la vraie classe.
Le gradient, pas la valeur tronc
Une loss n'informe l'optimiseur que par sa pente, jamais par sa valeur. Avec p = σ(z) et y ∈ {0, 1} :
La dérivée de −log p est −1/p, celle de −log(1 − p) est 1/(1 − p) : multipliée par σ′(z) = p(1 − p), chacune laisse exactement p − y. Derrière une MSE, ce σ′ survit. Une erreur confiante (p → 0 ou 1) pousse le facteur p(1 − p) vers 0 : la MSE gèle exactement les points qu'il faudrait bouger.
« La pente de la log-loss en z est p − y, donc une erreur confiante donne un gradient de norme proche de 1, donc le point bouge ; la pente de la MSE porte le facteur p(1 − p), donc la même erreur confiante donne un gradient qui tend vers 0, donc le point est gelé — c'est le gradient qui décide, pas la valeur de la loss. »
| z | p = σ(z) | p(1 − p) | ∂log-loss/∂z | ∂MSE/∂z | rapport |
|---|---|---|---|---|---|
| 0 | 0,500 | 0,250 | 0,500 | 0,250 | 2 |
| 2 | 0,881 | 0,105 | 0,881 | 0,185 | 4,8 |
| 5 | 0,9933 | 0,00665 | 0,993 | 0,0132 | 75 |
| 10 | 0,99995 | 4,5·10⁻⁵ | 1,000 | 9,1·10⁻⁵ | 11 000 |
Le symptôme « ça converge lentement, les exemples confortablement faux ne bougent plus » n'est donc pas une histoire de valeur de la loss — de cap, de borne, d'échelle. C'est le facteur p(1 − p) dans le gradient, et rien d'autre.
Une seconde raison, distincte. MSE ∘ σ est non convexe en β, la log-loss est convexe (b06) : deux raisons indépendantes de ne pas mettre une MSE derrière une sigmoïde.
Ce p − y n'est pas un hasard : sous lien canonique (identité, logit, softmax), le gradient de la NLL en la sortie linéaire vaut toujours prédiction − y.
Un exemple de vraie classe y = 0 : plus z monte, plus le modèle se trompe avec assurance. En ordonnée, ce que l'optimiseur reçoit — la norme du gradient par rapport à z — pour la log-loss et pour la MSE ∘ σ. Pousse z à 5 : la log-loss pousse encore (0,99), la MSE a lâché (0,013). Le plateau de la MSE est la figure 3 vue par sa pente : là où la courbe de coût s'aplatit, l'optimiseur ne reçoit plus rien.
Ce que chaque loss estime
Changer d'hypothèse de bruit ne change pas seulement la robustesse : ça change la quantité estimée.
Pourquoi toute la loi : E[yk | x] = 1 · P(y = k | x) + 0 · P(y ≠ k | x) = pk. La log-loss et la cross-entropy estiment donc P(y = k | x) pour chaque k, pas un résumé : moyenne = un nombre, médiane = un nombre, log-loss = la loi entière.
« Laquelle veux-tu prédire ? » est donc une question qui précède toute considération de robustesse, et qui se pose dès le pas 1.
« Le minimiseur de Σ(y − c)² est la moyenne et celui de Σ|y − c| est la médiane, donc changer le bruit change la quantité estimée, donc MSE et MAE ne sont pas deux précisions du même nombre mais deux nombres. »
y = (1, 2, 3, 4, 20). Moyenne 6, médiane 3.
| c | Σ(y − c)² | Σ|y − c| |
|---|---|---|
| 3 (médiane) | 295 | 21 |
| 6 (moyenne) | 250 | 28 |
Chacune gagne chez elle. Remplacer 5 par 20 déplace la moyenne de 3 à 6 et ne déplace pas la médiane : sous gaussienne un résidu de 10 coûte 100 fois un résidu de 1, sous Laplace il coûte 10 fois. L'influence d'un point est non bornée d'un côté, bornée de l'autre.
Sur une cible asymétrique — revenus, durées, temps de réponse — moyenne et médiane ne coïncident pas, et le choix de la loss est un choix de cible.
Le geste, en arrière
Personne ne dit « je suppose un bruit de Laplace » : on choisit la MAE, et l'hypothèse est reconstituée après coup. Savoir faire le trajet dans ce sens est ce qui distingue une réponse d'un slogan.
Devant une loss inconnue : quel exposant, donc quelle densité, donc quel bruit, donc quelle cible ?
« La loss est le −log d'une densité, donc son exposant est celui de la densité, donc un carré trahit une gaussienne et une valeur absolue une Laplace, donc la bonne phrase est la MAE suppose des queues exponentielles et estime la médiane. »
| ce qu'on lit | exposant | bruit supposé | cible |
|---|---|---|---|
| Σ(y − f)² | carré | gaussien | moyenne |
| Σ|y − f| | valeur absolue | Laplace | médiane |
| −Σ[y log p + …] | log d'une puissance | Bernoulli | toute la loi P(y = 1 | x) |
| −log py | log d'une puissance | catégorielle | toute la loi P(y = k | x) |
Le lien cross-entropy ↔ MLE, en quatre pas, quand la mémoire lâche : (1) une loi paramétrée pour y sachant x — ici une catégorielle de paramètre softmax(z) ; (2) la probabilité d'une observation — py, la coordonnée de la vraie classe ; (3) le produit sur les observations ; (4) argmax, donc argmin du −log. On arrive sur −Σ log pyi : la cross-entropy est le maximum de vraisemblance d'une catégorielle, pas une loss inventée à part.
Où ça casse casse
Le geste est mécanique, mais ses deux appuis — l'indépendance et la vraisemblance seule — lâchent dans des cas précis, et toujours pour la même raison : la vraisemblance ne détermine parfois rien du tout.
« Le produit suppose l'indépendance et le maximum de vraisemblance ne croit que ce qu'il a vu, donc la vraisemblance seule peut ne rien déterminer — trop de solutions, ou aucune — donc il faudra lui ajouter quelque chose, et ce sera le prior. »
- Sous dépendance, la vraisemblance factorisée est fausse. Séries temporelles, mesures répétées sur un même sujet, phrases d'un même document : la jointe ne se factorise pas et le produit compte plusieurs fois la même information. Le point estimé survit souvent, mais les barres d'erreur mentent.
- Le maximum de vraisemblance ne croit que ce qu'il a vu. Pièce PPP : L(p) = p³, maximale en p = 1 — « un échec est impossible » après trois tirages (figure 2). Même mécanisme en langue : un mot jamais vu reçoit la probabilité 0, donc toute phrase qui le contient devient impossible. Remède : ajouter une croyance — prior, ou lissage (3+1)/(3+2) = 0,8 — c'est p02-02.
- Parfois il n'y a pas de minimum du tout. Séparation parfaite : deux conditions, toutes deux nécessaires — (i) séparabilité : augmenter β améliore tous les points à la fois, donc la NLL descend toujours ; (ii) σ ∈ ]0, 1[ ouvert, donc −log p > 0 et la NLL ne touche jamais 0. Donc le MLE β n'existe pas — le paramètre existe, c'est l'estimateur qui manque — et ‖β‖ → ∞ (figure 5). Contre-exemple : ajoute un point mal placé, x = 3, y = 0 ; son terme −log(1 − σ(3β)) remonte avec β, et un minimum existe. Le solveur s'arrête sur son nombre d'itérations avec un coefficient énorme, ce qui ressemble à un résultat sans en être un. C'est la section « Le gradient, pas la valeur » lue à l'envers : sous séparation la log-loss a une pente qui ne s'annule jamais — ce qui la rend bonne sur les erreurs confiantes est exactement ce qui la fait fuir quand il n'y a plus d'erreur.
- σ a disparu au pas 6, et c'était légitime : il ne déplace pas l'argmin en β. Mais une barre d'erreur sur β, elle, en a besoin — il faut le récupérer, σ² = RSS/(n − p) avec p coefficients — RSS/n est le maximum de vraisemblance de σ², biaisé vers le bas, et la question piège est là. Jeter pour optimiser ne veut pas dire jeter pour conclure : c'est le retour du fil A, p01-03.
L'exemple de classification, x = (−2, −1, 1, 2) et y = (0, 0, 1, 1) : toute pente β > 0 classe les quatre points correctement. Monte β : la NLL descend vers 0 sans jamais l'atteindre et sa pente reste strictement négative — pour tout β, doubler β fait mieux. Il n'y a pas d'argmin, et ce n'est pas un défaut du calcul : les données disent « n'importe quelle pente pourvu qu'elle soit infinie ». La pénalité de p02-02 ne rendra pas la solution meilleure, elle la fera exister.
Résumé
- Une seule hypothèse de modélisation : la loi de y sachant x — « le bruit », séparable seulement quand f ne fait que translater la loi — dans le cadre H1–H3, dont l'indépendance qui autorise le produit.
- Six pas mécaniques : densité → produit → log → négatif → jeter → nommer. Le nom est le point d'arrêt.
- Gaussien → MSE (σ² jeté) ; Laplace → MAE ; Bernoulli → log-loss (rien à jeter) ; catégoriel → cross-entropy = −log py.
- La forme de la loss est la forme de l'exposant de la densité : carré ⇒ gaussienne, valeur absolue ⇒ Laplace.
- Chaque loss estime une cible différente : moyenne, médiane, toute la loi P(y = k | x). Le geste se lit aussi à l'envers, de la loss vers le bruit.
- Le gradient décide, pas la valeur : log-loss → p − y ; MSE ∘ σ → ×p(1 − p), gelée sur les erreurs confiantes.
- Ça casse par : dépendance (produit interdit), p = 1 du maximum de vraisemblance, séparation parfaite (pas de minimum), σ jeté dont une barre d'erreur a pourtant besoin.
Chaîne verbalisée — une prise, à voix haute
- Qu'est-ce qu'on suppose dans la chaîne ?Une hypothèse de modélisation, la loi de y sachant x — « le bruit » — dans le cadre H1–H3 : y sachant x, indépendance (qui autorise le produit), θ fixe. Tout le reste est du calcul. L'écriture y = f + ε n'en est qu'un cas particulier : les familles de position, gaussienne ou Laplace.
- Déroule les six pas sur un bruit gaussien.Densité exp(−r²/2σ²)/(σ√2π) → produit → log (−n log(σ√2π) − RSS/2σ²) → négatif → jeter la constante et le facteur 1/(2σ²) → MSE.
- Que jette-t-on avec Bernoulli ?Rien : pas de paramètre de dispersion séparé, la variance p(1−p) est fixée par la moyenne. La log-loss est la NLL telle quelle, et c'est le point d'arrêt.
- Déroule les six pas sur trois classes.Catégorielle de paramètre softmax(z) → one-hot, masse Πk pkyk = pc → produit sur i → log : Σi Σk yik log pik → négatif → rien à jeter → cross-entropy = −log pvraie classe. Sur z = (2, 0, −1) : −ln 0,844 = 0,170 pour chat, −ln 0,042 = 3,17 pour oiseau.
- Que casse la séparation parfaite ?La NLL décroît vers 0 sans l'atteindre : pas de minimum, ‖β‖ → ∞. Le MLE β̂ n'existe pas : le paramètre existe, c'est l'estimateur qui manque.
- Pourquoi MSE + sigmoïde apprend-elle si lentement les exemples confortablement faux ?∂/∂z = 2(p − y)·p(1 − p) : le facteur p(1 − p) tend vers 0 quand p → 0 ou 1. La log-loss donne p − y, sans ce facteur : gradient ≈ 1 sur une erreur confiante.
- Que suppose la MAE, et qu'estime-t-elle ?Un bruit de Laplace — queues exponentielles. Elle estime la médiane conditionnelle, pas la moyenne : une autre quantité, pas la même en plus prudent.
Ponts et cartes
stats::vraisemblance (fonction de θ à données fixées, pas une loi sur θ) · stats::mle (les six pas, p = 1 sur PPP) · ml::regression-lineaire (MSE ← gaussienne ; σ² : RSS/n au maximum de vraisemblance, RSS/(n − p) sans biais) · ml::logistique (log-loss ← Bernoulli, séparation parfaite) · dl::cross-entropy (−log py, NLL d'une catégorielle).
Une carte qui résiste après cette chaîne est une carte à refondre, pas une section à relire.