- Toute la chaîne p03-01. L'argument y est dérivé, chiffré et illustré : la tente de l'accuracy, la concavité stricte de Gini, la pente de la log-loss, le coude de L1, la platitude de la hinge (p03-01). Ce pont ne le redérive pas ; il l'indexe.
- Gradient = signal. Un paramètre bouge de −η·∂L/∂θ ; là où la dérivée est nulle, il ne bouge pas (p03-02 pas 2). C'est la seule mécanique dont ce pont se sert.
- Jensen strict. Une fonction strictement concave passe au-dessus de ses cordes ; l'écart corde-courbe est le gain d'un split (p03-01 pas 4). Pas redémontré ici.
- Les quatre lieux ne sont pas redéfinis : arbres (p07-01), logistique (p05-02), régularisation (p02-02), seuils et métriques (p06-03). Ce pont ne fournit que la lecture commune.
Un argument, quatre habits
L'argument, et la table qu'il ouvre tronc
Un candidat ne se déplace que proportionnellement à la pente du critère. Un critère n'entre donc dans l'apprentissage que par sa dérivée par rapport à ce qui bouge — et trois régimes suffisent à tout ranger :
pente jamais nulle → dôme ou bol, tout se voit
pente nulle sur une zone nommée → cette zone est le comportement
La table ci-contre est tout ce pont : quatre habits, la même lecture, plus une cinquième ligne qui n'a pas de colonne « sensible » — et c'est exprès.
« Un candidat bouge de moins η fois la pente du critère, donc un critère plat ne déplace rien, donc seule la pente porte de l'information, donc la forme du critère — marche, dôme, bol, coude — dit exactement ce qu'il peut apprendre. »
| habit | ce qui bouge | escalier | sensible |
|---|---|---|---|
| Split d'arbre | p | accuracy — tente | Gini, entropie — dôme |
| Loss | β | 0/1 loss | log-loss — bol |
| Pénalité | θ | L2 près de 0 | L1 — pente constante |
| SVM | marge | hinge au-delà de 1 | hinge en deçà de 1 |
| Évaluation | seuil | accuracy, F1, rappel | — |
Ce que chaque ligne explique — et où c'est écrit :
- Split — CART ne coupe pas à l'accuracy ; l'impureté est un surrogate. p03-01 pas 2–5 · p07-01
- Loss — gradient (p − y)x jamais nul ; séparation parfaite. p03-01 pas 7 · p05-02 · p02-01
- Pénalité — zéros exacts du Lasso ; coude = mur. p03-01 pas 8 · p02-02 pas 7
- SVM — vecteurs de support. p03-01 pas 9
- Évaluation — on évalue en marches, on n'apprend pas avec. p03-01 casse · p06-03
Les colonnes 2 et 3 sont tout le travail de lecture. Nommer ce qui bouge vient en premier : tant qu'on ne l'a pas nommé, il n'y a pas de pente à regarder, et la table ne s'applique pas.
Les quatre habits, ramenés à une même échelle : en abscisse ce qui bouge, normalisé sur [0, 1] — la marge pour la marche, le bol et la hinge, la proportion p pour le dôme ; en ordonnée le critère, normalisé lui aussi. Lis la pente, pas la valeur : les traits épais sont les tangentes au point choisi, et les quatre encadrés en donnent la mesure. Déplace le curseur. La marche affiche 0 partout : aucun réglage ne la fait parler. La hinge affiche 0 dès m > 1 — une zone, nommée, qui est exactement la définition des vecteurs de support. Le bol ne tombe jamais à 0, même à m = +3 où il reste −0,09 : c'est la poussée résiduelle qui fait fuir β sous séparation parfaite. Le dôme a bien un zéro, en p = 0,5 — mais en un seul point, et c'est son sommet, le maximum d'impureté : personne n'y optimise. Plate partout, plate sur une zone, plate en un point : trois choses différentes. Au-delà de m = 1 la hinge se couche exactement sur la marche : les deux anneaux emboîtés, au ras de l'axe, sont deux pentes nulles superposées.
Habit 1 — le split d'un arbre : ce qui bouge est p
L'erreur d'un nœud, e(p) = min(p, 1−p), est une tente : affine de chaque côté de ½. Sur un morceau affine la corde est sur la courbe, donc l'erreur pondérée des enfants égale celle du parent : gain exactement nul tant qu'aucune majorité ne bascule.
Gini et l'entropie sont strictement concaves : Jensen strict met la corde sous la courbe dès que pL ≠ pR. Tout split qui sépare est vu, et plus il sépare plus il est vu.
« L'erreur d'un nœud est affine de chaque côté de ½, donc la corde entre deux enfants du même côté passe par le parent, donc le gain en accuracy est nul sans basculement de majorité, donc CART coupe sur un dôme et garde le taux d'erreur pour élaguer et pour rapporter. »
S1 : 300+/100− et 100+/300−. S2 : 200+/400− et 200+/0− — une feuille pure. Intuitivement S2 sépare mieux.
| critère | parent | gain S1 | gain S2 | départage ? |
|---|---|---|---|---|
| accuracy | 0,5 | 0,250 | 0,250 | non |
| Gini | 0,5 | 0,125 | 0,167 | oui, S2 |
| entropie (bits) | 1,0 | 0,189 | 0,311 | oui, S2 |
Le cas qui le montre encore mieux : parent 7+/3−, split (4+/2−) et (3+/1−), aucune majorité ne bascule. Accuracy : 3 erreurs avant, 2 + 1 = 3 après, gain 0. Gini : 0,4200 → 0,4167, gain 0,0033. Entropie : 0,8813 → 0,8755, gain 0,0058. Petit, mais non nul : l'arbre peut le ranger.
Où c'est écrit : p03-01 pas 2–5 — dont le pas 5, qui dit pourquoi l'impureté est un surrogate légitime : l'entropie d'un nœud est la log-loss de la prédiction « proportions du nœud », Gini son score de Brier. Le domaine : p07-01.
Habit 2 — la loss d'un classifieur : ce qui bouge est β
Marge m = y·β⊤x. La 0/1 loss, 𝟙[m < 0], est l'accuracy vue du côté des paramètres : une marche en β, de dérivée nulle partout sauf sur la frontière. La descente ne reçoit rien.
La log-loss log(1 + e−m) a pour pente −σ(−m), jamais nulle, décroissante en m. Par la chain rule elle donne le gradient (p − y)x — maximal là où l'erreur est maximale.
« La 0/1 loss est en marches en β, donc son gradient est nul presque partout et rien n'apprend, donc on prend la log-loss dont la pente −σ(−m) n'est jamais nulle, donc chaque point pousse encore un peu — et sous séparation parfaite cette poussée résiduelle envoie ‖β‖ à l'infini. »
| marge m | 0/1 | pente 0/1 | log-loss | pente log-loss |
|---|---|---|---|---|
| −2 — franchement faux | 1 | 0 | 2,1269 | −0,881 |
| 0 — sur la frontière | 0 | 0 | 0,6931 | −0,500 |
| +2 — bien classé | 0 | 0 | 0,1269 | −0,119 |
| +3 — très bien classé | 0 | 0 | 0,0486 | −0,047 |
Colonne 3 : rien, jamais. Colonne 5 : quelque chose, toujours. C'est la ligne entière de la table, en deux colonnes.
La pente est négative en m : descendre la loss, c'est monter la marge. Et comme elle ne s'annule jamais, un jeu séparable n'a pas de minimum atteignable — la pénalité le rend existant.
Où c'est écrit : p03-01 pas 7 (les deux étages de la chain rule, et pourquoi la MSE échoue là où la log-loss réussit) · p02-01 et D4 exemple 2 pour la séparation parfaite · p05-02.
Habit 3 — la pénalité : ce qui bouge est θ
Objectif L(θ) + λ·pen(θ), loss sans facteur ½. Ici la zone de pente nulle est du côté de la pénalité, pas de la loss — même règle, lue à l'envers.
L2 tire de moins en moins fort à mesure qu'on approche de 0 : le poids ralentit et n'arrive jamais. L1 tire à force constante jusqu'au coude, qui est un mur de force λ des deux côtés : le poids y reste tant que la loss ne pousse pas plus fort, c'est-à-dire tant que λ ≥ |L′(0)|.
« La pénalité rappelle vers zéro avec sa propre dérivée, donc L2 rappelle de moins en moins près de zéro et le poids ne l'atteint jamais, donc L1 rappelle à force constante jusqu'au coude, donc le poids se colle exactement à zéro dès que λ atteint la poussée |L′(0)| de la loss. »
Les données veulent θ = 1. Poussée de la loss en zéro : L′(0) = −2, donc |L′(0)| = 2 — le seuil que λ doit atteindre.
| λ | L2 | L1 |
|---|---|---|
| 0,5 | 0,667 | 0,750 |
| 1 | 0,500 | 0,500 |
| 2 | 0,333 | 0 |
| 8 | 0,111 | 0 |
À λ = 8, L2 est encore à 0,111 : quatre fois plus de pénalité que le seuil de L1, et toujours pas de zéro. Sur p paramètres, c'est la sélection de variables du Lasso — et l'absence de sélection de la ridge.
Où c'est écrit : p03-01 pas 8 · p02-02 pas 7 (L1 tranche ailleurs : le même coude, vu depuis le prior de Laplace). La convention sans ½ est celle du dépôt : un ½ déplacerait tous les seuils en λ d'un facteur 2.
Habit 4 — la SVM : ce qui bouge est la marge
Hinge : max(0, 1 − m). Pente −1 en deçà de la marge, exactement 0 au-delà. Un point bien classé et éloigné n'envoie donc aucun gradient : il ne participe pas à la solution.
Restent ceux à m ≤ 1 — sur la marge ou du mauvais côté. Ce sont eux, et eux seuls, qui portent w = Σ αiyixi, avec αi = 0 hors support. La zone plate n'est pas un défaut : elle est la définition.
« La hinge est plate au-delà de la marge, donc un point bien classé n'envoie aucun gradient, donc la frontière ne dépend que des points à marge inférieure ou égale à 1, donc ces points-là sont les vecteurs de support et retirer les autres ne change rien. »
| marge m | hinge | pente hinge | pente log-loss | ce point compte ? |
|---|---|---|---|---|
| −2 | 3 | −1 | −0,881 | oui, les deux |
| +0,5 | 0,5 | −1 | −0,378 | oui, les deux |
| +2 | 0 | 0 | −0,119 | SVM : non · logistique : oui |
| +3 | 0 | 0 | −0,047 | SVM : non · logistique : oui |
Toute la différence entre les deux modèles tient dans la ligne surlignée : à m = +2 la logistique garde 0,119 de poussée, la SVM exactement 0. « Tous les points, pondérés » contre « les supports seuls ». La question d'entretien n'est presque jamais « SVM ou logistique », c'est pourquoi la hinge est creuse.
Où c'est écrit : p03-01 pas 9 — avec le noyau, qui ne change rien à cet argument : il remplace les produits scalaires, pas la forme de la loss.
La cinquième ligne, et où ça casse casse
La ligne « Évaluation » n'a pas de colonne « sensible », et ce vide est le message : accuracy, F1, rappel à un seuil sont des marches, parfaites pour mesurer, muettes pour apprendre. Les deux rôles ne se confondent jamais.
Et « sensible » ne veut pas dire « meilleur ». Une pente qui transmet tout transmet aussi le bruit.
« Une métrique en marches ne transmet aucune pente, donc elle ne peut pas servir de critère d'apprentissage, donc on apprend sur un surrogate sensible et on rapporte la marche, donc un critère se choisit par ce qu'il transmet et une métrique par ce qu'elle mesure. »
- Sensible partout ⇒ sensible aux outliers. La log-loss n'est pas bornée : un point à m = −10 coûte 10,00 et tire à pente −0,99995. Un seul label bruité déplace la frontière. La hinge (pente bornée à −1) et Huber bornent l'influence d'un point : c'est le prix payé pour la robustesse, et c'est un choix, pas un défaut.
- Le surrogate n'est pas la métrique. Minimiser la log-loss ne maximise ni l'accuracy, ni le F1, ni le rappel à un seuil donné. Le seuil se règle après, sur la métrique voulue (p06-03). Confondre les deux, c'est optimiser une chose et se juger sur une autre.
- Une pente nulle est parfois exactement ce qu'on veut. Le plat de la hinge donne la parcimonie des supports, le coude de L1 donne les zéros exacts. La règle ne dit pas « fuis les zones plates » : elle dit « nomme-les », parce que chacune produit un comportement précis et souvent souhaité.
- Sans nommer ce qui bouge, la table ne s'applique pas. C'est la moitié du travail, et la moitié qu'on saute : dire p, β, θ, la marge — puis seulement regarder la pente. Le test inverse marche aussi : Gini contre entropie n'est pas une question de pente (même concavité, même ordre des splits presque toujours), c'est un détail d'implémentation. Une question qui ne se traduit pas en « ce qui bouge / où la pente s'annule » n'est pas une question pour ce pont.
Résumé
- Pente nulle = pas de signal. C'est l'argument unique ; tout le reste en est une lecture.
- Trois régimes, pas quatre : plate partout (accuracy, 0/1 loss), jamais plate (Gini, entropie, log-loss), plate sur une zone nommée (L2 près de 0, hinge au-delà de 1).
- Les chiffres qui ancrent : accuracy 0,250 = 0,250 contre Gini 0,125 < 0,167 ; pente de la log-loss −0,119 à m = +2 contre 0 pour la hinge ; L1 à zéro exact dès λ = |L′(0)| = 2, L2 encore à 0,111 à λ = 8.
- Nommer ce qui bouge d'abord (p, β, θ, la marge), lire la pente ensuite. Sans le premier geste, le second n'a pas d'objet.
- Une casse pour les quatre : sensible transmet aussi le bruit — d'où hinge et Huber, qui bornent la pente.
- On apprend avec un critère sensible, on évalue avec la métrique en marches. Le seuil se règle après.
Chaîne verbalisée — une prise, à voix haute
- Gini ou accuracy pour choisir un split — et pourquoi ? (la réponse complète, telle quelle, en entretien)Gini. Ce qui bouge est la proportion p. L'erreur min(p, 1−p) est une tente, affine de chaque côté de ½ : la corde entre deux enfants du même côté passe par le parent, donc le gain est exactement nul tant qu'aucune majorité ne bascule. Parent 400+/400− : deux splits très différents, dont un à feuille pure, donnent 0,25 tous les deux. Gini est un dôme, strictement concave : Jensen strict met la corde sous la courbe dès que pL ≠ pR, donc 0,125 contre 0,167 — il départage, et dans le bon sens. C'est légitime parce que l'impureté est un surrogate : l'entropie d'un nœud est la log-loss de la prédiction « proportions du nœud », Gini son Brier. On garde le taux d'erreur pour élaguer et pour rapporter.
- Même argument, autre habit : la 0/1 loss et β.Ce qui bouge est β. La 0/1 loss est une marche : gradient nul partout sauf sur la frontière, la descente ne reçoit rien. La log-loss a pour pente −σ(−m), jamais nulle : −0,881 à m = −2, encore −0,119 à m = +2. Par la chain rule, gradient (p − y)x. Revers : sous séparation parfaite, cette poussée qui ne meurt pas envoie ‖β‖ à l'infini.
- Même argument, autre habit : L1 et les zéros exacts.Ce qui bouge est θ, et la zone plate est du côté de la pénalité. L2 rappelle avec 2θ, qui s'éteint en 0 : le poids n'arrive jamais — 0,111 encore à λ = 8. L1 rappelle avec ±1, constante, et son coude est un mur de force λ des deux côtés : avec L(θ) = (θ−1)², le zéro exact arrive à λ = |L′(0)| = 2 et tient au-delà.
- Même argument, autre habit : la hinge et les vecteurs de support.Ce qui bouge est la marge. La hinge a une pente −1 en deçà de 1 et exactement 0 au-delà : à m = +2 elle vaut 0 et sa pente vaut 0, quand la log-loss garde −0,119. Donc les points bien classés et éloignés n'envoient aucun gradient et ne portent pas la frontière ; seuls comptent ceux à m ≤ 1 — les vecteurs de support. Retirer les autres ne déplace rien.
Ponts et cartes
ml::arbres (Gini vs accuracy, gain nul sans basculement, surrogate) · ml::logistique (pente −σ(−m), gradient p − y, séparation parfaite) · stats::regularisation (L1 zéros exacts, coude, seuil λ = |L′(0)|) · ml::svm (hinge plate, vecteurs de support).
Une carte qui résiste après ce pont est une carte à refondre, pas une section à relire.