- Le témoin, côté algèbre. Ajouter une colonne à X agrandit l'image ; la projection de y ne peut que s'en rapprocher (p04-01 pas 8).
- Le max ment. Le meilleur de k scores bruités est un maximum de variables aléatoires, donc son espérance dépasse la valeur commune (p01-04 pas 6), et le remède est le protocole (pas 7).
- RSS, TSS, R² et bagging, OOB ne sont pas redéfinis ici : leurs chaînes propres sont p05-01 et p07-02.
- E[max de k normales] n'est pas redérivée. Le passage par P(max ≤ t) = Φ(t/SE)k vit dans w01-03 ; ce pont prend le tableau de valeurs tel quel et s'en sert.
Le même témoin, cinq lieux
Le témoin, écrit une fois tronc
Deux ensembles de candidats emboîtés, un même critère f à minimiser. Pour montrer que le minimum ne monte pas, on n'optimise rien : on exhibe un élément du grand ensemble qui reproduit l'ancien optimum.
L'inégalité est acquise avant tout calcul. Le calcul dit de combien ça baisse ; il ne peut pas dire que ça monte. Corollaire immédiat : un critère qui ne peut que baisser quand l'ensemble grandit ne compare pas deux ensembles de tailles différentes.
« L'ancien optimum est atteignable dans le nouvel ensemble, donc le minimum du nouveau lui est au plus égal, donc élargir ne peut jamais faire monter un minimum, donc ce minimum ne juge pas l'élargissement. »
x = (1 ; 2 ; 3 ; 4 ; 5), y = (2 ; 3 ; 5 ; 4 ; 6), variable ajoutée z = (1 ; 0 ; 1 ; 0 ; 1) choisie sans rapport avec y. TSS = 10.
| espace des candidats | ajustement | RSS | R² |
|---|---|---|---|
| 1 + x | 1,3 + 0,9 x | 19/10 = 1,9 | 0,81 |
| 1 + x + z | 0,8 + 0,9 x + (5/6) z | 16/15 ≈ 1,067 | 67/75 ≈ 0,893 |
| témoin : βz = 0 | 1,3 + 0,9 x | 1,9 | 0,81 |
La troisième ligne vit dans le grand espace et y vaut exactement l'ancien RSS : le minimum du grand espace lui est donc inférieur ou égal. Le chiffre confirme (1,067 < 1,9), il n'était pas nécessaire. Le détail algébrique est en p04-01 pas 8.
Une ligne par lieu tronc
Lire une de ces situations, c'est répondre à deux questions seulement : quel ensemble grandit, et qui joue le témoin. La conséquence suit sans calcul.
Trois lectures utiles : le R² et l'erreur d'entraînement sont des minima déguisés ; le max de k scores est le même fait retourné — on garde le plus haut, donc ça monte ; l'OOB est le seul lieu où l'élargissement ne triche pas, parce qu'aucun choix n'a été fait dessus.
« Le mécanisme ne demande que deux noms — l'ensemble qui grandit et le point qui témoigne, donc la conséquence se lit sans calcul, donc les cinq lignes ci-contre sont un seul théorème en cinq habits. »
| lieu | l'ensemble qui grandit | le témoin | conséquence |
|---|---|---|---|
| R² et RSS | les modèles avec une variable de plus | βnouveau = 0 | RSS ne monte jamais, R² ne baisse jamais |
| Erreur train | un modèle plus flexible | l'ancien modèle est dans le nouveau | l'erreur train décroît toujours |
| Biais du max | k configs comparées sur le même test | le gagnant contient la chance qui l'a fait gagner | score ≈ vrai + SE·E[maxk] |
| Tuning sur le test | le test set utilisé pour choisir | même chose | le test ne mesure plus |
| OOB vs test | les arbres qui n'ont pas vu la ligne | rien à racheter : aucun choix | OOB un peu pessimiste, mais valide |
Où c'est écrit, ligne à ligne : p04-01 pas 8 et p05-01 · p06-01 · p01-04 pas 6 et w01-03 · p01-04 pas 7 · p07-02 et p01-05 pas 4.
Lieu 1 — R² et RSS : le témoin est un zéro
Ajouter une colonne à X, c'est agrandir l'ensemble des ajustements atteignables. Le témoin est l'ancien vecteur de coefficients complété par un zéro : même prédiction, même RSS.
Donc RSS ne monte jamais et R² = 1 − RSS/TSS ne baisse jamais, y compris pour une variable de pur bruit. Le R² ne décide pas d'un ajout. Ce que répondent les pénalités — R² ajusté, AIC — est de rendre le paramètre supplémentaire payant.
« Le témoin est l'ancien β complété par un zéro, donc le RSS du grand modèle lui est au plus égal, donc le R² ne baisse jamais, donc il ne décide pas d'un ajout. »
Les mêmes cinq points qu'au pas 1, avec la même variable inutile z.
| critère | 1 + x | 1 + x + z | qui gagne |
|---|---|---|---|
| R² | 0,81 | 0,893 | le grand, toujours |
| R² ajusté | 56/75 ≈ 0,747 | 59/75 ≈ 0,787 | le grand, encore |
| AIC = n log(RSS/n) + 2k | 1,16 | 0,28 | le grand, encore |
Les pénalités changent la question, elles ne garantissent pas la bonne réponse : ici n = 5, le coût d'un paramètre est faible devant la baisse de RSS (1,9 → 1,067), donc z passe malgré tout. Le seul juge qu'un témoin ne peut pas jouer est un jeu de données que l'ajustement n'a pas vu.
Lieu 2 — erreur d'entraînement : le témoin est l'ancien modèle
Même argument, autre habit. Un modèle plus flexible — degré supérieur, arbre plus profond, couche plus large — contient le moins flexible. Le témoin n'est plus un zéro isolé, c'est l'ancien modèle entier.
Donc l'erreur d'entraînement décroît à chaque gain de flexibilité, jusqu'à zéro quand il y a autant de paramètres que de points. Elle mesure une capacité d'interpolation, pas une qualité.
« Le modèle moins flexible appartient à la famille plus flexible, donc il y est un témoin, donc l'erreur d'entraînement ne peut que décroître, donc sa décroissance n'a rien à interpréter. »
| degré | paramètres | RSS train | R² train |
|---|---|---|---|
| 0 — la moyenne, 4 | 1 | 10 | 0 |
| 1 — 1,3 + 0,9 x | 2 | 19/10 = 1,9 | 0,81 |
| 2 | 3 | 64/35 ≈ 1,829 | 0,817 |
| 3 | 4 | 10/7 ≈ 1,429 | 0,857 |
| 4 | 5 | 0 | 1 |
Cinq paramètres pour cinq points : le polynôme passe par tous. RSS = 0, R² = 1, et le modèle ne vaut rien. La colonne RSS est forcément décroissante — poser le coefficient de tête à 0 redonne le degré précédent. Un chiffre qui ne peut pas monter ne porte aucune information sur le choix du degré.
Lieu 3 — bruité : le témoin devient la chance tronc
L'argument retourné. Au lieu de minimiser sur un ensemble plus grand, on garde le plus haut de k scores mesurés : un max ne peut que monter avec k, c'est le même fait.
La différence est que sous H3 les k candidats valent la même chose : ce qui monte est du pur bruit. Le gagnant est celui dont le bruit était le plus favorable, et son score affiché contient cette chance.
« Les k candidats valent la même chose, donc leur classement est fabriqué par le bruit, donc le score rapporté vaut le vrai plus SE fois l'espérance du max de k normales, donc choisir le meilleur revient à choisir aussi sa chance. »
| k | 1 | 2 | 5 | 10 | 40 | 100 |
|---|---|---|---|---|---|---|
| E[maxk] | 0 | 0,56 | 1,16 | 1,54 | 2,16 | 2,51 |
n = 1 000 lignes de test, π = 0,87 pour les 40 : SE = √(0,87·0,13/1000) = 0,0106.
Le gagnant affiche 2,3 points de plus qu'il ne vaut, sans qu'aucune des 40 mesures ne soit biaisée : chacune est sans biais, c'est leur max qui ne l'est pas. La croissance ralentit vite — de 1 à 10 configs le biais gagne 1,54 SE, de 10 à 100 seulement 0,97 de plus. Essayer moins n'est donc pas la parade.
Chaque tirage est le max de k normales centrées réduites : k candidats qui valent exactement la même chose, à leur bruit près. Trait bleu vrai : 0, la valeur commune. Trait ambre E[max] : la valeur tabulée. Trait rouge fin : la moyenne des tirages effectués. À k = 1 les trois se confondent ; monte k, tire 500, et regarde l'histogramme entier glisser à droite alors qu'aucun candidat n'a changé de valeur. L'axe est en unités de SE : le décalage lu à k = 40 est le 2,16 du tableau ci-dessus. Il monte lentement : 2,16 à k = 40, 2,51 à k = 100.
Lieu 4 — le test set qui a servi à choisir
Le biais du pas 5 ne vient pas du nombre de configs, il vient du jeu sur lequel on a choisi. Le remède porte donc sur les rôles, pas sur k.
On règle et on compare sur la validation : le score du gagnant y est gonflé, et on ne le publie pas. Le test s'ouvre une fois, à la fin — la sélection ne l'a jamais vu, donc son bruit est centré.
Ce qui vaut bien au-delà du choix d'une config : si la procédure regarde le tirage pour décider — choisir, s'arrêter — elle change la loi de ce qu'elle produit ; c'est le cas 3 (p01-01 pas 2, p01-04 pas 6).
« Le biais naît du jeu qui a servi à choisir, donc on le paie sur la validation, donc le test reste un tirage que la sélection n'a jamais vu, donc le chiffre rapporté redevient sans biais. »
| jeu | rôle | combien de fois | chiffre |
|---|---|---|---|
| train | ajuster les poids | autant qu'on veut | aucun |
| validation | choisir parmi les 40 | autant qu'on veut | 0,893 — gonflé, non publié |
| test | mesurer le retenu | une fois | ≈ 0,870 ± 2 SE |
Deux petits cas 3, sans sweep ni test set, qui relèvent du même mécanisme : choisir H1 unilatérale après avoir vu le signe (cela double le taux de faux positifs) ; relever α après avoir vu p. Là aussi la procédure regarde le tirage pour décider — voir p01-04 pas 6.
Ce que la k-fold ne répare pas. Moyenner sur 5 folds divise le SE par √5 (0,0106 → 0,0048), donc le biais du max d'autant : 2,3 → 1,0 point. Réduit, pas supprimé — mesurer mieux ne défait pas « choisir sur ce qu'on a mesuré » (p01-04 pas 7).
Lieu 5 — l'OOB : un ensemble que le choix n'a pas touché
Une forêt offre un test gratuit : pour chaque ligne, les arbres dont le bootstrap ne l'a pas tirée. Ici le témoin n'a rien à racheter — aucune sélection n'a été faite sur ces arbres, donc l'estimation est valide.
Le prix est ailleurs : chaque ligne n'est jugée que par la fraction d'arbres qui l'ont laissée dehors, (1 − 1/n)n → 1/e ≈ 37 %. Une forêt à 37 % de sa taille est un peu moins bonne, donc l'OOB est légèrement pessimiste — un biais dans le bon sens.
« L'OOB juge chaque ligne par les arbres qui ne l'ont pas vue, donc aucun choix n'a touché ces arbres, donc l'estimation est valide, donc le seul défaut est une forêt réduite à 37 % de sa taille et un chiffre légèrement pessimiste. »
| quantité | valeur |
|---|---|
| (1 − 1/1000)1000 | 0,3677 (1/e = 0,3679) |
| arbres qui jugent une ligne donnée | 500 × 0,3677 ≈ 184 |
| variance d'une moyenne de m arbres, ρ = 0,3 | ρ + (1 − ρ)/m |
| m = 500 (la forêt entière) | 0,3014 |
| m = 184 (ce que voit l'OOB) | 0,3038 |
Soit +0,8 % de variance, +0,4 % d'écart-type : c'est tout le pessimisme de l'OOB, et il fond quand B grandit. À comparer aux 2,3 points d'optimisme d'un test tuné — les deux biais existent, ils ne sont ni du même ordre ni du même signe. La ρ = 0,3 est une hypothèse de lecture, pas une mesure (p07-02).
Où ça casse — de la même façon partout casse
Les trois pannes sont celles du témoin, pas celles du domaine : il lui faut un emboîtement et un critère inchangé, et la parade qui marche est toujours la même.
« Le témoin suppose un emboîtement et un critère inchangé, donc dès qu'une des deux conditions saute l'inégalité ne vaut plus, donc les pannes se cherchent aux trois mêmes endroits. »
- Pas d'emboîtement ⇒ pas d'inégalité. Un arbre et une régression linéaire ne se comparent pas par ce mécanisme : aucun des deux ne contient l'autre, donc rien n'interdit au plus riche d'avoir le plus grand RSS. Le témoin donne une garantie dans un cas précis, pas une loi générale « plus gros, mieux ».
- Pénaliser déplace la question, ne la ferme pas. R² ajusté et AIC rendent le paramètre payant, mais à un tarif fixé d'avance : sur les cinq points du pas 3, z passe encore les deux. Ils supposent en outre un modèle bien spécifié et un n identique d'un candidat à l'autre. La parade robuste reste un jeu que le choix n'a pas touché.
- Corriger le seuil ne répare pas le score. Bonferroni et FDR répondent à « combien de faux positifs parmi 40 tests » — au seuil de 5 %, 1 − 0,9540 = 0,87 d'en avoir au moins un. Ils ne rendent pas au gagnant sa vraie valeur. Deux questions, deux remèdes : corriger le seuil pour décider, ouvrir un jeu neuf pour mesurer.
Résumé
- Ensemble plus grand ⇒ minimum plus bas. Il suffit d'exhiber un témoin : β = 0 pour une variable ajoutée, l'ancien modèle pour une famille plus flexible. L'inégalité précède le calcul.
- Bruité, l'argument se retourne : le max de k tirages est biaisé de ≈ SE·E[maxk] — 2,16 SE à k = 40, soit 2,3 points sur un test de 1 000 lignes. Choisir, c'est capter la chance.
- Conséquence unique : ce qui a servi à choisir ne mesure plus. Pénaliser aide, valider tranche ; l'OOB est le contre-exemple qui confirme — rien n'y a été choisi, donc il reste valide.
Chaîne verbalisée — une prise, à voix haute
- Pourquoi le R² ne baisse jamais quand on ajoute une variable ?Témoin : l'ancien β complété par βnouveau = 0 vit dans le grand espace et y vaut l'ancien RSS — donc le minimum du grand espace est au plus l'ancien.
- Même argument, autre habit : pourquoi l'erreur d'entraînement décroît avec la flexibilité ?L'ancien modèle est dans la nouvelle famille — degré 4 contient degré 3 en posant le coefficient de tête à 0. Sur cinq points, RSS va de 10 à exactement 0.
- Version bruitée : pourquoi le meilleur de 40 configs surestime ?Le score rapporté est un max de 40 variables bruitées de même moyenne : ≈ vrai + 2,16 SE, soit +2,3 points avec SE = 0,0106.
- Que change-t-on au protocole, et pourquoi l'OOB y échappe-t-il ?Choisir sur la validation, mesurer sur le test une seule fois. L'OOB n'a servi à aucun choix, donc il reste valide — au prix de 37 % des arbres, ce qui le rend un peu pessimiste.
Ponts et cartes
algebre::temoin (l'inégalité et son témoin, β = 0, l'ancien modèle) · stats::multiplicite (biais du max, SE·E[maxk], correction de seuil ≠ correction de score) · ml::validation (train / validation / test, k-fold, OOB).
Une carte qui résiste après ce pont est une carte à refondre, pas une section à relire.