Fil rouge : un jeu tabulaire d'anomalies d'infrastructure avec des labels bruités ; une random forest de 500 arbres ; un gradient boosting à 300 arbres de profondeur 3 ; et un k-means à k = 3 sur trois amas bien séparés.
Arbres de décision
QPourquoi la surprise d'un événement s'écrit −log p ? Quelle exigence est décisive ?›
L'additivité : apprendre deux choses indépendantes doit informer de la somme. P(A∩B) = P(A)P(B) doit devenir s(A) + s(B), et seul le log transforme un produit en somme. Le signe rend la surprise positive ; s(1) = 0 et s décroissante en découlent.
« Deux événements indépendants ont une probabilité produit, donc leur surprise doit s'additionner, donc la surprise est un log, donc −log p pour être positive. »
QImpureté d'un nœud en classification binaire : Gini et entropie ?›
Gini = 2p(1 − p) ; entropie = −p log p − (1 − p) log(1 − p). Lecture de Gini comme un jeu : tirer un individu au hasard, lui attribuer une prédiction au hasard selon les proportions du nœud — Gini est la probabilité de se tromper.
« Un nœud pur ne surprend pas, un nœud à 50/50 surprend au maximum, donc les deux mesures sont nulles aux bords et maximales en ½. »
QQu'est-ce qui change entre Gini et entropie ?›
Quasiment rien. Même forme sur [0,1] : nulles aux extrémités, maximales en ½, concaves ; elles choisissent les mêmes splits dans l'immense majorité des cas. Gini évite le log, donc un peu plus rapide. C'est un détail d'implémentation, contrairement à la profondeur ou au nombre d'arbres.
« Deux fonctions concaves de même forme ordonnent les splits de la même façon, donc le choix entre Gini et entropie n'affecte presque jamais l'arbre, donc ce n'est pas un hyperparamètre qui compte. »
QCART : selon quel critère choisit-il un split ?›
Le split de gain maximal : impureté du parent − impureté moyenne des enfants pondérée par leurs effectifs. La comparaison se fait avec le parent, jamais avec un split alternatif ou aléatoire.
« Chaque candidat produit deux enfants, donc on mesure l'impureté restante pondérée, donc on retient celui qui en enlève le plus par rapport au parent. »
QUn arbre laissé pousser sans contrainte atteint-il toujours une erreur d'entraînement nulle ?›
Oui, sauf si deux observations ayant exactement le même vecteur de features portent des étiquettes différentes : aucun split ne peut les séparer.
Une seule feature binaire région ∈ {Nord, Sud} → au plus deux feuilles, donc deux prédictions, donc erreur non nulle si une région contient les deux classes.
« Un arbre peut isoler tout point distinguable, donc l'erreur ne reste que sur les points indistinguables, donc elle est nulle sauf doublons contradictoires. »
Bagging et random forest
QBagging : comment sont construits les B jeux de données ?›
B échantillons bootstrap de taille n, tirés avec remise du même échantillon. C'est la remise qui crée la variabilité : certaines observations sortent deux ou trois fois, d'autres pas du tout (≈ 37 % out-of-bag).
« On veut B datasets différents à partir d'un seul, donc on rééchantillonne avec remise, donc chaque arbre voit un jeu légèrement différent et les OOB servent de test gratuit. »
QLa moyenne des B arbres réduit quoi — biais, variance, les deux ?›
La variance seule ; le biais est strictement inchangé. Chaque arbre est entraîné sur un échantillon de même loi, donc E[f̂b] est le même pour tous, donc la moyenne a le même biais. Conséquence : on donne au bagging des arbres profonds, dont le biais est déjà faible.
« Moyenner des estimateurs de même espérance ne change pas l'espérance, donc le biais reste, donc le bagging ne sert qu'à réduire la variance, donc il faut partir d'arbres à faible biais. »
QB prédicteurs de variance σ² et de corrélation ρ : pourquoi augmenter B ne suffit pas ?›
Var(moyenne) = ρσ² + (1 − ρ)σ²/B. Le second terme s'éteint avec B, le premier ne bouge pas : c'est le plancher fixé par la corrélation. Corollaire : le nombre d'arbres n'est pas un hyperparamètre de régularisation, il ne fait que stabiliser.
« La variance d'une moyenne de variables corrélées contient un terme en ρσ² indépendant de B, donc B ne peut pas le réduire, donc il faut décorréler les arbres. »
QUne random forest est un bagging d'arbres plus un ingrédient. Lequel, et pourquoi le bootstrap seul ne suffit pas ?›
À chaque split (pas une fois par arbre), on tire m features parmi p et le meilleur split est cherché parmi elles seules. Le bootstrap seul laisse la feature dominante en racine de presque tous les arbres → arbres corrélés → ρ élevé.
Pourquoi par split : un arbre qui hériterait de la feature dominante la réutiliserait partout ; la restriction par split force la diversité en profondeur.
« Le bootstrap ne décorrèle pas des arbres qui choisissent tous la même feature dominante, donc on cache une partie des features à chaque split, donc ρ baisse et la variance de la moyenne aussi. »
Gradient boosting
QGradient boosting entraîné, F₀ constant puis M arbres. Comment calculer la prédiction ?›
FM(x) = F₀(x) + ν Σm hm(x). On additionne les prédictions des arbres, jamais les résidus : les résidus sont le signal d'apprentissage, pas un ingrédient de la prédiction. Le modèle est additif.
« Chaque arbre a été ajusté pour corriger l'erreur du modèle courant, donc sa prédiction est une correction, donc la prédiction finale est la somme des corrections, pondérée par ν. »
QArbre numéro m : sur quoi exactement est-il ajusté ?›
Sur les résidus du modèle accumulé : y − Fm−1, où Fm−1 = F₀ + ν Σj<m hj. Pas sur les résidus de l'arbre précédent seul. La cible se recalcule à chaque tour à partir de l'état du modèle entier.
« Le but est de corriger ce que l'ensemble n'explique pas encore, donc la cible est le résidu du modèle accumulé, donc chaque arbre dépend de tous les précédents. »
QPourquoi parle-t-on de gradient boosting si on ajuste des résidus ?›
Le gradient de ½(y − ŷ)² par rapport à ŷ vaut −(y − ŷ) : le résidu est le gradient négatif. Ajuster un arbre sur les résidus = un pas de descente de gradient dans l'espace des fonctions. Avec une autre perte (log-loss, Huber), l'arbre est ajusté sur le gradient négatif de cette perte.
« La dérivée de la perte quadratique est le résidu au signe près, donc suivre les résidus c'est descendre le gradient, donc la méthode se généralise à toute perte dérivable. »
QRF et GB agrègent tous deux des arbres. Pourquoi profonds en RF et peu profonds en boosting ?›
Chaque méthode choisit des arbres portant le défaut qu'elle sait corriger. La RF réduit la variance → arbres profonds (faible biais, forte variance, diluée). Le boosting réduit le biais → arbres peu profonds (fort biais, faible variance), corrigés séquentiellement. Un arbre qui délire est dilué en RF, intégré définitivement en boosting.
« Le bagging moyenne, donc il tolère la variance et pas le biais ; le boosting additionne des corrections, donc il tolère le biais et pas la variance, donc les profondeurs sont opposées. »
QTabulaire : quand préférer RF, quand GB ?›
RF : peu de tuning, robuste par défaut, difficile à casser, OOB gratuit, labels bruités bien tolérés — le choix pour une baseline ou une équipe sans temps de tuning. GB : meilleure performance possible si l'on tune (learning rate, profondeur, early stopping), mais sensible au bruit et au sur-apprentissage.
Anomalies d'infrastructure avec labels issus de tickets humains → étiquettes bruitées → RF.
« La RF dilue le bruit et ne demande rien, donc c'est la baseline ; le boosting intègre chaque erreur et récompense le tuning, donc c'est le choix quand on a du temps et des labels propres. »
k-means
Qk-means : quelle quantité minimise-t-il, et sur quoi porte la minimisation ?›
L'inertie intra-classe J(C, μ) = Σj Σx∈Cj ‖x − μj‖², minimisée conjointement sur l'affectation C et les centroïdes μ. Le représentant est la moyenne parce que le critère est quadratique : x̄ minimise Σ‖x − c‖².
« On cherche des groupes compacts, donc on somme les distances au carré aux centres, donc l'optimum en c d'une somme de carrés est la moyenne, donc les centres sont des barycentres. »
QAlgorithme de Lloyd : pourquoi termine-t-il, et sur quel type d'optimum ?›
Deux étapes alternées — affectation au centroïde le plus proche, puis centroïde = barycentre — chacune optimum exact de sa variable à l'autre fixée, donc J ne peut pas croître. J est bornée par 0 et le nombre de partitions est fini, donc convergence en un nombre fini d'étapes. Vers un optimum local.
« Chaque étape ne peut que diminuer J, donc la suite est décroissante et minorée, donc elle converge ; mais rien ne garantit le minimum global, donc on relance plusieurs initialisations. »
QTrois amas bien séparés, k = 3, les trois centroïdes initiaux tombent dans le premier. Pourquoi ne s'en sortira-t-il pas ?›
Un centroïde ne se téléporte jamais : il ne peut que devenir le barycentre des points qui lui sont déjà affectés. Les points de B et C vont tous au centroïde le plus proche, qui migre entre B et C ; l'amas A est découpé en deux. Optimum local stable. Remède : k-means++ (init espacée) et plusieurs runs.
« Un centroïde ne bouge que vers le barycentre de ses points, donc deux centroïdes coincés dans le même amas s'y partagent les points, donc la configuration est stable et fausse, donc l'initialisation décide. »