Fil rouge : ventes ~ budget_TV sur 200 marchés, β̂₁ = 1,4, SE = 0,22 ; puis un modèle logistique « défaut de paiement ~ nombre de crédits », β̂₁ = 0,7. La régression est une machine à deux étages : un modèle de population avec un ε qui fait du nuage un tirage, et un estimateur dont on décrit la distribution.
Le modèle et ses hypothèses
QPourquoi l'hypothèse est-elle E[ε | x] = 0 et non simplement E[ε] = 0 ?›
E[ε] = 0 tout court laisse le bruit dépendre de x en moyenne. Contre-exemple : +5 à gauche du nuage, −5 à droite — moyenne globale nulle, et pourtant la droite est fausse. On exige E[ε | x] = 0 pour tout x.
« Si le bruit dépend de x en moyenne, il contient de la structure que la droite devrait capturer, donc la pente est biaisée, donc on exige que l'espérance du bruit soit nulle conditionnellement à x. »
QSur la variance du bruit, on exige plus que « variance finie » : quoi ?›
Var(ε | x) = σ² constante en x (homoscédasticité). « Finie » autoriserait une variance dépendant de x — exactement ce que l'hypothèse interdit.
« Les formules de SE supposent un bruit de même taille partout, donc il faut Var(ε | x) constante, donc une variance qui grandit avec x casse les SE sans casser la pente. »
QRésidus vs valeurs ajustées montrent une variance qui croît. Qu'est-ce qui survit, qu'est-ce qui casse ?›
Survit : β̂₁ reste non biaisé — le non-biais ne repose que sur E[ε | x] = 0. Casse : les SE, donc t, p-values et IC, calculés sous variance constante. Remède : SE robustes (HC) ou moindres carrés pondérés.
OLS = MLE vient de la normalité, pas de l'homoscédasticité : sous hétéroscédasticité OLS reste sans biais mais n'est plus l'estimateur de variance minimale.
« Le non-biais ne demande que E[ε | x] = 0, donc l'hétéroscédasticité ne le touche pas ; les SE supposent σ² constant, donc c'est l'inférence qui devient fausse. »
OLS — pourquoi les carrés, et ce que vaut β̂
QPourquoi minimise-t-on la somme des carrés des résidus plutôt que la somme des valeurs absolues ?›
(1) Solution fermée : la dérivée du carré est linéaire en (b₀, b₁), donc annuler les dérivées donne un système linéaire. (2) OLS = MLE sous bruit gaussien : la log-vraisemblance est −Σri²/(2σ²) à une constante près. La valeur absolue donne la médiane conditionnelle, sans forme fermée.
« La dérivée d'un carré est linéaire dans les coefficients, donc les équations normales sont linéaires, donc il existe une solution fermée ; et sous bruit gaussien la log-vraisemblance est une somme de carrés, donc OLS est le MLE. »
QQue valent β̂₁ et β̂₀ en régression simple, et d'où vient la dérivation ?›
β̂₁ = Ĉov(x, y)/V̂ar(x) = Σ(xi − x̄)(yi − ȳ)/Σ(xi − x̄)², et β̂₀ = ȳ − β̂₁x̄. Annuler la dérivée en b₀ donne Σ(yi − ŷi) = 0, donc la droite passe par (x̄, ȳ).
Les unités le disent : Ĉov est en (unités de X)(unités de Y), V̂ar(x) en (unités de X)², donc le quotient est en Y par X — une pente.
« Annuler la dérivée en b₀ force la droite à passer par le point moyen, donc β̂₀ = ȳ − β̂₁x̄, donc en substituant la dérivée en b₁ donne covariance sur variance. »
QPourquoi l'OLS est-il sensible aux outliers ? Deux sens et le remède.›
Mécanique : le critère est Σri² — un résidu de 10 pèse 100, dix résidus de 1 pèsent 10. Probabiliste : la gaussienne e−r²/2σ² déclare un résidu à 5σ quasi impossible, donc la droite se déforme pour l'éviter. Remède : perte robuste (Huber, L1) = bruit à queues lourdes.
« Le carré amplifie les grands écarts, donc un point aberrant domine la somme, donc il tire la droite ; c'est le contenu même de l'hypothèse gaussienne, donc on change de loi de bruit pour être robuste. »
QÉcris β̂₁ comme fonction de β₁ et du bruit. Qu'en déduis-tu ?›
β̂₁ = β₁ + Σ wiεi avec wi = (xi − x̄)/Σ(xj − x̄)². Démonstration : β̂₁ est une combinaison linéaire des yi (poids wi), on substitue yi = β₀ + β₁xi + εi, Σwi = 0 et Σwixi = 1. D'où E[β̂₁] = β₁ (non-biais) et Var(β̂₁) = σ²Σwi² = σ²/Σ(xi − x̄)².
« β̂₁ est linéaire dans les y, donc en injectant le modèle on isole β₁ plus une combinaison des bruits, donc l'espérance du bruit étant nulle β̂₁ est non biaisé et sa variance est σ² sur l'étalement des x. »
QVar(β̂₁) = σ²/Σ(xi − x̄)² : quelle lecture, et quel corollaire d'entretien ?›
L'étalement des x joue pour la pente le rôle que n joue pour la moyenne : plus les x sont dispersés, plus la pente est précise. Corollaire : pour bien estimer une pente, échantillonner aux extrêmes de x, pas au centre.
« La variance de la pente est le bruit divisé par la dispersion des x, donc des x concentrés donnent une pente instable, donc on gagne en précision en écartant les x. »
QEstimer μ par ȳ est un cas particulier de régression : lequel ?›
La régression sur une constante seule (x ≡ 1) : β̂₀ = ȳ. Var(μ̂) = σ²/n et Var(β̂₁) = σ²/Σ(xi − x̄)² sont la même formule, n étant la « dispersion » de la constante.
« Sans régresseur, minimiser Σ(yi − b)² donne b = ȳ, donc la moyenne est une régression sur la constante, donc σ²/n est le cas particulier de σ²/Σ(x−x̄)². »
Lire la sortie — R², tests
QR² : formule et lecture de TSS.›
R² = 1 − RSS/TSS, avec TSS = Σ(yi − ȳ)². TSS est le RSS de la baseline qui prédit ȳ partout : R² mesure la part de cette erreur de base que le modèle supprime.
« TSS est l'erreur du modèle sans x, donc RSS/TSS est la part d'erreur qui reste, donc R² est la part d'erreur expliquée par x. »
QPourquoi le R² ne peut-il que croître quand on ajoute un régresseur ?›
Le nouveau modèle contient l'ancien (coefficient ajouté posé à 0) : l'ancien RSS est un témoin atteignable, donc le nouveau minimum lui est ≤. Conséquence : un R² plus élevé n'est pas une preuve de meilleur modèle → R² ajusté, AIC, validation.
« Le modèle élargi peut reproduire exactement l'ancien, donc son RSS minimal est au plus l'ancien, donc R² monte ou stagne, jamais ne descend. »
QLe « bruit irréductible » σ² est-il la même chose que l'erreur résiduelle ?›
Non. σ² = Var(ε) est théorique, propriété du processus. Les résidus sont empiriques, ils l'estiment via σ̂² = RSS/(n − p). Sur le train ils sous-estiment σ² (le modèle a été ajusté dessus).
« σ² appartient au monde, les résidus appartiennent à un ajustement, donc les seconds estiment le premier avec un biais vers le bas sur le train, donc on divise par n − p. »
Régression logistique
QDéfaut ~ nombre de crédits, β̂₁ = 0,7. Unité exacte de ce coefficient ?›
« Un crédit de plus, c'est +0,7 sur le log-odds de défaut, à autres variables fixées » ; e0,7 ≈ 2 : les odds doublent. Ce n'est ni +0,7 point de probabilité ni +70 %.
Structurel : le modèle est linéaire sur le logit, log(p/(1−p)) = β₀ + β₁x. L'effet sur p dépend d'où l'on part.
« Le modèle est linéaire sur le logit, donc β₁ est un incrément de log-odds, donc son exponentielle est un rapport de cotes, donc l'effet en probabilité n'est pas constant. »
QQue fait-on au modèle quand on déplace le seuil de 0,5 à 0,3 ?›
Rien : β̂ et p̂ sont inchangés, aucun réentraînement. Le modèle classe des probabilités ; le seuil est une décision qui règle l'arbitrage précision / rappel selon le coût des erreurs.
« Le modèle produit des probabilités, donc le seuil n'intervient qu'après, donc le déplacer change la décision sans toucher l'apprentissage. »
QImage de la sigmoïde, et ce que ça garantit ?›
L'intervalle ouvert ]0, 1[ : σ(z) n'atteint jamais 0 ni 1, donc la log-vraisemblance log p̂ et log(1 − p̂) est toujours finie. Pas de −∞ dans la loss.
« La sigmoïde tend vers 0 et 1 sans les atteindre, donc aucune probabilité prédite n'est exactement nulle, donc la BCE reste définie partout. »
QPourquoi la logistique est-elle un classifieur linéaire alors que sa sortie passe par une sigmoïde ?›
La décision p̂ ≥ 0,5 équivaut à z = βᵀx ≥ 0 car σ(0) = 0,5 et σ est croissante. La frontière est l'hyperplan βᵀx = 0 ; avec deux features, une droite. Pour une frontière courbe, ajouter x₁², x₁x₂…
« La sigmoïde est monotone, donc comparer p̂ à un seuil revient à comparer z à une constante, donc la frontière est linéaire dans les features. »
QRégresser linéairement une cible binaire puis clipper dans [0,1] : pourquoi c'est faux partout, pas seulement aux bords ?›
Le clipping traite le symptôme aux bords ; le défaut est partout : la forme affine impose un effet constant de x sur p, alors qu'une probabilité doit saturer. Passer de 2 à 3 jours d'inactivité et de 60 à 61 ne peuvent pas ajouter la même chose.
« Une droite a une pente constante, donc chaque unité de x ajoute la même probabilité partout, donc le modèle est faux au centre autant qu'aux bords, donc clipper ne répare rien. »
QL'OLS a une forme fermée. Pourquoi pas la logistique ?›
Le gradient de la BCE vaut Σ(σ(xiᵀβ) − yi)xi : le résidu contient σ(xiᵀβ), non linéaire en β, donc β ne s'isole pas. La forme ressemble aux équations normales (résidu × régresseur) mais on résout par Newton ou descente de gradient ; la BCE est convexe, donc l'optimum est unique.
« Le résidu passe par une sigmoïde, donc les équations d'optimalité sont non linéaires en β, donc il n'y a pas de solution fermée, donc on itère sur une fonction convexe. »