- La descente de gradient. θ ← θ − η∇L : la direction de plus forte baisse locale, un pas η, et un pas trop grand qui oscille (p03-02 pas 2–3). Toute cette chaîne ne change qu'une chose : par rapport à quoi on dérive.
- Un arbre de régression. Coupures axe par axe, une feuille prédit la moyenne des y qu'elle contient (p07-01 pas 7) ; la profondeur est le bouton de variance (pas 5).
- Moyenner ne baisse que la variance. Le biais de la moyenne est exactement le biais d'un composant — démontré en une ligne de linéarité dans p07-02 pas 2, et c'est de là que vient « arbres profonds pour la forêt, arbres courts pour le boosting » (pas 7). On l'applique ici, on ne le redémontre pas.
- La loss vient de l'hypothèse de bruit. Gaussien ⇒ quadratique, Bernoulli ⇒ log-loss (p02-01 pas 8). Choisir la loss est un choix de modèle ; le boosting, lui, ne change pas.
- Le gradient de la log-loss. Avec p = σ(F), ∂L/∂F = p − y, le −1/p du log compensant l'écrasement de σ′ (p03-01 pas 7). C'est ce nombre-là que l'arbre ajuste quand on classe.
La chaîne
Le décor : additionner, pas moyenner
Le bagging moyenne des modèles de même loi et ne touche pas au biais : il divise ce qui reste de variance (p07-02 pas 2). Le boosting prend l'autre côté du budget d'erreur : un modèle additif où chaque terme corrige ce que la somme des précédents laisse encore.
D'où les composants faibles : un terme qui corrige n'a pas besoin d'être bon seul, il a besoin de laisser du travail aux suivants.
« Moyenner laisse le biais intact, donc pour l'attaquer il faut additionner et non moyenner, donc chaque terme doit viser ce que les précédents laissent, donc le modèle se construit séquentiellement à partir de composants faibles. »
Quatre points : x = 1, 2, 3, 4 et y = 1, 2, 3, 6. Un seul feature, donc une souche ne peut que choisir sa coupure parmi x ≤ 1, x ≤ 2, x ≤ 3.
| x=1 | x=2 | x=3 | x=4 | |
|---|---|---|---|---|
| y | 1 | 2 | 3 | 6 |
| F0 = ȳ | 3 | 3 | 3 | 3 |
| y − F0 | −2 | −1 | 0 | +3 |
RSS de départ : 4 + 1 + 0 + 9 = 14. F0 est la constante qui minimise la loss quadratique — c'est déjà le premier « arbre », de profondeur zéro.
Le geste : ajuster le gradient négatif tronc
À l'étape m, on calcule un nombre par point d'entraînement : de combien la loss baisserait si l'on remontait un peu la prédiction en ce point.
L'arbre ne fait qu'une chose : rendre ce gradient utilisable ailleurs qu'aux n points où on sait le calculer. Deux mots portent tout : le gradient est pris au modèle cumulé, et il est pris de la loss — pas d'un résidu, pas du dernier arbre (b01 pas 4).
« La loss est une fonction de la prédiction en chaque point, donc son gradient négatif dit dans quel sens corriger chaque point, donc un arbre ajusté sur ces nombres est un pas de descente, donc le boosting descend la loss dans l'espace des fonctions. »
Cible du premier arbre : (−2 ; −1 ; 0 ; +3). La souche qui minimise la SSE de ces nombres coupe en x ≤ 3 :
| coupure | feuille gauche | feuille droite | SSE |
|---|---|---|---|
| x ≤ 1 | −2 | +0,667 | 8,667 |
| x ≤ 2 | −1,5 | +1,5 | 5,000 |
| x ≤ 3 | −1 | +3 | 2,000 |
Donc h1 = (−1 ; −1 ; −1 ; +3). À ν = 0,1 : F1 = (2,9 ; 2,9 ; 2,9 ; 3,3), RSS 14 → 11,72.
Le piège, en chiffres. La cible du deuxième arbre est y − F1 = (−1,9 ; −0,9 ; +0,1 ; +2,7). Ce que beaucoup récitent — « les résidus laissés par h1 », soit r1 − h1 = (−1 ; 0 ; +1 ; 0) — n'a aucune composante en commun avec elle. Les deux ne coïncideraient qu'à ν = 1 : c'est ce qui rend la confusion durable.
Quadratique ⇒ les résidus, et seulement là
Une seule loss fait coïncider le gradient négatif avec le résidu, et il faut pour cela garder le ½ :
Convention de ce dépôt : le ½ est gardé ici pour que le pseudo-résidu soit exactement le résidu ; sans lui r = 2(y − F) et le facteur 2 est absorbé par ν — même mécanisme, chiffres doublés. Même ligne dans b01. (À ne pas confondre avec la convention des pénalités, L + λ·pen, écrite sans ½.)
« La dérivée de ½(y − F)² en F vaut −(y − F), donc son opposé est exactement le résidu, donc « chaque arbre ajuste les résidus » est vrai pour cette loss, donc c'est un cas particulier et non la définition. »
| M | F(1) | F(2) | F(3) | F(4) | RSS |
|---|---|---|---|---|---|
| 0 | 3 | 3 | 3 | 3 | 14 |
| 1 | 2,900 | 2,900 | 2,900 | 3,300 | 11,72 |
| 5 | 2,541 | 2,541 | 2,772 | 4,147 | 6,150 |
| 20 | 1,606 | 2,084 | 2,916 | 5,394 | 0,749 |
| 50 | 1,080 | 2,007 | 2,988 | 5,925 | 0,0123 |
Une souche ne sait produire que deux valeurs ; cinquante souches sommées en produisent quatre distinctes, et retrouvent (1 ; 2 ; 3 ; 6). Le pouvoir d'expression est dans la somme, pas dans l'arbre.
Les quatre points en rouge, Fm en marches bleues, les résidus en pointillés. Clique « arbre suivant » : la souche choisie coupe le résidu courant, et seule une fraction ν en est ajoutée. Remonte ν à 1 — la RSS passe de 14 à 2,0 en un arbre et sous 0,01 en dix ; redescends à 0,1 — il en faut cinquante pour arriver à 0,012. Même direction à chaque fois ; seule la longueur du pas change.
Log-loss ⇒ y − p : on régresse quand même
Pour classer, F est un logit et p = σ(F). Le gradient de la log-loss par rapport à F est celui de p03-01 pas 7 :
La cible n'est pas une étiquette mais un écart de probabilité : « de combien la probabilité est fausse, et dans quel sens ». Huber, quantile, Poisson donnent d'autres pseudo-résidus ; le geste, lui, ne bouge pas d'une ligne.
« La cible d'un arbre est le gradient négatif de la loss, donc elle change avec la loss, donc en classification c'est y − p et non un label, donc l'arbre reste un arbre de régression. »
y = 1 en x = 6, 7, 9, 10 ; y = 0 ailleurs. Taux de base p0 = 0,4, donc F0 = log(0,4/0,6) = −0,405 partout.
| les 6 points y = 0 | les 4 points y = 1 | |
|---|---|---|
| pseudo-résidu y − p0 | −0,4 | +0,6 |
Meilleure souche sur ces nombres : x ≤ 5, feuilles −0,4 et +0,4 (SSE 0,80 contre 1,50 en x ≤ 8). Avec ν = 0,5 les logits deviennent −0,605 à gauche et −0,205 à droite, soit p = 0,353 et 0,449. Log-loss moyenne : 0,673 → 0,598.
Le point à contre-courant. x = 8 porte y = 0 mais tombe dans la feuille droite : son pseudo-résidu grandit, de −0,400 à −0,449. Il réclamera plus fort au tour suivant — c'est le mécanisme, et c'est déjà la limite du pas 8.
ν : le pas, et une régularisation tronc
ν ∈ ]0 ; 1] : chaque arbre ne corrige qu'une fraction de ce qu'il voit. C'est le η de p03-02 pas 3, avec un rôle de plus.
Un arbre ajusté sur le résidu courant ajuste aussi le bruit du résidu courant. À ν = 1 cette part de bruit entre entièrement dans F et aucun arbre suivant ne la reprendra (H1 : rien n'est réajusté). À ν petit, chaque arbre n'en verse qu'un dixième et les suivants corrigent le reste : le modèle final est une moyenne implicite de beaucoup d'avis, au lieu de la somme de quelques-uns.
« Un pas complet verse dans F tout le bruit du résidu courant, donc rien ne le reprendra ensuite, donc on prend un pas partiel et plus d'arbres, donc ν est à la fois le taux d'apprentissage et une régularisation. »
| RSS après M arbres | 1 | 3 | 5 | 10 | 50 |
|---|---|---|---|---|---|
| ν = 0,1 | 11,72 | 8,377 | 6,150 | 2,958 | 0,0123 |
| ν = 1 | 2,000 | 0,519 | 0,107 | 0,0081 | ≈ 0 |
Sur ces quatre points sans bruit, ν = 1 est simplement plus rapide, et c'est très bien. L'arbitrage n'apparaît que quand y contient du bruit : la figure 2 rejoue exactement la même comparaison sur quarante points bruités, et le classement s'inverse.
La profondeur fixe l'ordre des interactions
Une somme de souches est une somme de fonctions d'une seule variable à la fois : un modèle additif, incapable par construction de dire « si x1 est grand et x2 petit ». Un arbre de profondeur d teste d questions avant de prédire, donc exprime des interactions d'ordre d.
D'où le réglage usuel 3 à 6 : assez pour les interactions utiles, assez court pour que le biais reste à réduire par la somme et non par l'arbre. Plus profond n'ajoute pas de la finesse, ça ajoute de la variance (p07-01 pas 5) — et c'est l'exact miroir de la forêt, qui veut des arbres profonds parce qu'elle ne sait baisser que la variance (p07-02 pas 7).
« Une souche ne voit qu'une variable à la fois, donc une somme de souches est un modèle additif, donc il faut une profondeur d pour exprimer une interaction d'ordre d, donc on règle la profondeur sur l'ordre des interactions attendues et non sur la précision voulue. »
x1, x2 ∈ {0, 1} et y = 1 si exactement l'une des deux vaut 1. Cible purement interactive : chaque variable prise seule ne dit rien.
| (x1, x2) | (0,0) | (0,1) | (1,0) | (1,1) | RSS |
|---|---|---|---|---|---|
| y | 0 | 1 | 1 | 0 | — |
| somme de souches, au mieux | 0,5 | 0,5 | 0,5 | 0,5 | 1 |
| un arbre de profondeur 2 | 0 | 1 | 1 | 0 | 0 |
Le meilleur modèle additif α + β1x1 + β2x2 a pour solution des moindres carrés α = 0,5 et β1 = β2 = 0 : il prédit la moyenne partout. Mille souches n'y changent rien — ce n'est pas un manque d'arbres, c'est un manque de profondeur.
M : le seul réglage qui se lit sur une courbe
La loss d'entraînement décroît à chaque arbre, toujours : on la descend par construction. La loss de validation fait un U (p06-01 pas 6, b03). On prend le M du minimum, mesuré et non choisi : c'est l'arrêt anticipé.
Autour, tous les autres boutons sont des boutons de variance posés sur un procédé qui, lui, attaque le biais : sous-échantillonner les lignes à chaque arbre (stochastic gradient boosting), sous-échantillonner les colonnes, pénaliser les valeurs de feuille, limiter le nombre de feuilles.
« La loss d'entraînement décroît à chaque arbre par construction, donc elle ne peut pas servir à choisir M, donc on lit le minimum de la validation, donc M est mesuré et non réglé. »
y = sin(2πx) + bruit d'écart-type 0,45, n = 40 en entraînement, 200 en validation, souches, M jusqu'à 200.
| M du min | val. au min | val. à M=200 | train à M=200 | |
|---|---|---|---|---|
| ν = 0,1 | 98 | 0,257 | 0,269 | 0,064 |
| ν = 1 | 7 | 0,272 | 0,334 | 0,011 |
Le pas court gagne sur les deux tableaux : son minimum arrive plus tard (98 contre 7) et plus bas (0,257 contre 0,272). À ν = 1, la train tombe à 0,011 — six fois moins que l'autre — pendant que la validation remonte à 0,334 : la loss d'entraînement ne dit rien de ce qui se passe.
Quatre courbes : train et validation, pour ν = 0,1 et ν = 1. Les deux train (violet, ambre) descendent sans jamais remonter. Les deux validation (bleu, rouge) font un U, dont le creux est marqué. Fais glisser M : à M = 7 le rouge est à son minimum et le bleu encore loin du sien ; à M = 200 le rouge est remonté de 23 %, le bleu de 5 %. Un pas court décale le creux vers la droite et le descend.
Forêt ou boosting : la question est le bruit des labels tronc
Les deux ensemblent des arbres, et c'est tout ce qu'ils ont en commun. La forêt moyenne : un label faux entre dans une minorité d'arbres et se dilue dans le vote. Le boosting corrige : un label faux produit à chaque étape un pseudo-résidu qui ne se résorbe pas, et reçoit donc une correction à chaque étape (pas 4, le point x = 8).
Bien réglé sur des labels propres, le boosting gagne presque toujours — c'est un procédé qui baisse le biais, et la forêt plafonne à ρσ² (p07-02 pas 4). Le prix est le nombre de boutons : ν, la profondeur, M, et un jeu de validation pour les régler.
« La forêt moyenne et dilue un label faux, donc le boosting le corrige et le poursuit, donc sur des labels propres le boosting gagne, donc sur des labels bruités la forêt est le choix sûr. »
| forêt aléatoire | gradient boosting | |
|---|---|---|
| ce qu'elle baisse | la variance | le biais |
| composants | arbres profonds, faible biais | arbres courts, fort biais |
| comment | moyenne / vote | somme séquentielle |
| arbres indépendants | oui — parallélisable | non — l'arbre m attend m−1 |
| ajouter des arbres | ne nuit jamais (plafond ρσ²) | finit par nuire (le U) |
| labels bruités | dilue | poursuit |
Simulation : frontière sinusoïdale dans le carré unité, 120 points d'entraînement dont 10 % d'étiquettes retournées, 500 points de test propres. Forêt de 25 arbres profonds contre 200 arbres de profondeur 2 à ν = 0,3, sans arrêt anticipé. Sur 100 tirages (les 25 de l’ouverture, puis trois fois « tirer 25 ») : erreur test moyenne 8,9 % pour la forêt, 10,9 % pour le boosting, qui est le pire des deux dans 82 tirages sur 100.
Chaque tirage rejoue tout : un jeu d'entraînement, 10 % de labels retournés, une forêt, un boosting, deux erreurs de test. Barres pleines : la forêt. Contour rouge : le boosting. Les traits épais marquent les deux moyennes. Tire une centaine de fois : les deux histogrammes se chevauchent largement — ce n'est pas une catastrophe, c'est un décalage —, mais celui du boosting est franchement à droite. Un arrêt anticipé sur validation en récupérerait l'essentiel : ici, exprès, il n'y en a pas.
Où ça casse casse
Le boosting est le procédé le plus précis du ML tabulaire et le plus facile à mal régler. Trois de ses quatre limites ont la même racine : il corrige, donc il corrige aussi ce qui n'aurait pas dû l'être.
« Chaque arbre corrige ce que le cumul laisse, donc ce qu'un point faux laisse ne se résorbe jamais, donc il reçoit une correction à chaque étape, donc le remède est de borner la loss ou de s'arrêter tôt. »
- Labels bruités et outliers. La log-loss n'est pas bornée (p03-01, casse) et la quadratique pèse le carré de l'écart : un point faux appelle une correction à chaque étape et finit par déplacer la frontière. Remèdes : Huber ou quantile en régression, arrêt anticipé, sous-échantillonnage — ou la forêt, qui dilue.
- Profond et pressé. Grande profondeur et ν grand mémorisent en quelques dizaines d'arbres : la train tombe, la validation remonte, et ajouter des arbres n'y change rien — ce n'est pas M qui est mal réglé. Baisser ν et la profondeur, dans cet ordre.
- Séquentiel par construction (H1). Aucun parallélisme entre arbres ; seul le choix des coupures dans un arbre se parallélise. À nombre d'arbres égal, un boosting s'entraîne plus lentement qu'une forêt, et une forêt reste le premier modèle à essayer.
- « Chaque arbre ajuste les résidus du précédent ». Faux deux fois : hors loss quadratique il n'y a pas de résidu (pas 4), et même en quadratique le gradient est pris au modèle cumulé, pas au dernier arbre (pas 2). La formulation exacte est la seule à retenir : le gradient négatif de la loss, évalué au modèle cumulé.
Résumé
- FM = F0 + ν Σ hm : modèle additif, construit séquentiellement, à partir de composants faibles.
- Chaque arbre ajuste ri = −∂L/∂F pris au modèle cumulé : une descente de gradient dont la variable est la fonction (b01).
- Quadratique avec ½ ⇒ le résidu y − F ; log-loss ⇒ y − p ; dans tous les cas un arbre de régression.
- ν est le pas et une régularisation : petit ν, beaucoup d'arbres — le creux de validation se décale à droite et descend.
- La profondeur fixe l'ordre des interactions (3 à 6) ; le biais est réduit par la somme, pas par l'arbre.
- M se lit au minimum de la validation (arrêt anticipé) ; forêt si les labels sont bruités, boosting s'ils sont propres et le réglage soigné.
Chaîne verbalisée — une prise, à voix haute
- Que cible exactement le m-ième arbre ?−∂L/∂F évalué au modèle cumulé Fm−1, point d'entraînement par point d'entraînement. Ni un résidu d'arbre, ni une étiquette.
- Pourquoi dit-on « les résidus », et quand est-ce vrai ?Uniquement pour L = ½(y − F)², où −∂L/∂F = y − F. Cas particulier, pas définition — et le résidu est celui du cumul, pas du dernier arbre.
- Et en classification ?F est un logit, p = σ(F), pseudo-résidu y − p : un écart de probabilité. L'arbre reste un arbre de régression.
- Que fait ν, et pourquoi le prendre petit ?C'est le pas de la descente. Petit, chaque arbre ne verse qu'une fraction du bruit du résidu courant et les suivants le corrigent : creux de validation plus tardif et plus bas.
- Arbres courts ou profonds, et pourquoi pas comme la forêt ?Courts : la profondeur d ne sert qu'à exprimer des interactions d'ordre d, le biais étant réduit par la somme. La forêt veut des arbres profonds, elle ne sait baisser que la variance.
- Labels bruités : forêt ou boosting ?Forêt. Elle moyenne, donc elle dilue le label faux ; le boosting lui envoie une correction à chaque étape. À défaut : Huber, quantile, arrêt anticipé.
Ponts et cartes
ml::boosting (modèle additif séquentiel, composants faibles) · ml::gradient-boosting (la cible est −∂L/∂F au modèle cumulé ; y − p en classification) · ml::learning-rate (ν pas et régularisation ; petit ν + grand M) · ml::rf-vs-gb (variance vs biais, profond vs court, dilue vs poursuit).
Une carte qui résiste après cette chaîne est une carte à refondre, pas une section à relire.