FichesCarte › Partie 01 · L'objet aléatoire › chaîne 03

Inférence en régression : SE, t, Student, np

Fil A, cas 2. Le logiciel affiche pour la pente t = 17,67 et « Student à 198 degrés de liberté », et rien n'explique d'où ces deux nombres sortent. Une régression n'a qu'une source d'aléa : le bruit ε — les x sont fixés, le modèle aussi. Toute la chaîne consiste à propager cet aléa jusqu'à la pente, puis à remplacer le σ qu'on ne connaît pas. Fil rouge : ISLR Advertising, sales ~ TV, n = 200, β1 = 0,0475, SE = 0,0027, σ = 3,26.

Ce que cette chaîne suppose acquis
  • Le modèle et les deux formules fermées. Y = β0 + β1X + ε ; les moindres carrés donnent β1 = Ĉov(x,y) / V̂ar(x) et β0 = ȳβ1 — jamais ȳ tout seul : la droite passe par (, ȳ), pas par (0, ȳ) (p05-01).
  • Les trois colonnes et le SE. Fixe (le paramètre) · aléatoire (ce qui est tiré, et l'estimateur qui en descend) · procédure (la recette). Le SE est la largeur de la distribution d'échantillonnage, donc une propriété de la procédure (p01-01, pas 5).
  • Le plug-in. Quand une formule de SE contient le paramètre inconnu, on y substitue son estimateur ; l'erreur commise est d'un ordre en dessous (p01-01, pas 6). Ici le paramètre à remplacer n'est pas la pente, c'est σ.
  • H₀, la p-value, l'IC. H₀ fixe le centre de la distribution de l'estimateur, le SE en fixe la largeur ; 0 ∉ IC95 ⟺ |t| > seuil ⟺ p < 0,05 (p01-02, pas 6). Cette chaîne ne refait pas ce raisonnement : elle lui fournit le SE et le quantile.
  • Notation. Chapeau sur tout ce qui se calcule sur les données — β1, σ, SE ; rien sur β1 et σ, qui sont des paramètres. On conditionne sur les x (c'est H2), jamais sur les paramètres : p(y | x ; β, σ), avec un point-virgule.
Hypothèses posées
H1Les bruits sont iid et homoscédastiques : E[ε|x] = 0 et Var(ε|x) = σ², le même σ² pour tous les x. C'est ce σ² unique qui rend la formule du SE écrivable. H2Les x sont fixés : on raisonne conditionnellement à eux. Toutes les espérances et variances de cette page sont conditionnelles aux x, et l'aléa vient de ε seul. H3Les bruits sont gaussiens. Nécessaire pour que t suive exactement une Student ; sans elle, t reste asymptotiquement normal par le TCL, et la page ne change qu'au dernier pas.

La chaîne

Le décor : une seule colonne aléatoire

Refaire l'expérience, ici, ne veut pas dire retirer un échantillon de lignes : les 200 budgets TV sont ceux du plan, ils ne bougent pas (H2). Ce qui aurait été autre, c'est le vecteur des bruits.

Mêmes x, autres ε ⇒ autres y ⇒ autre droite ⇒ autre pente. La colonne aléatoire de p01-01 n'a donc qu'une entrée : ε.

« Les x sont fixés et le modèle est fixe, donc la seule chose qui change d'une expérience à l'autre est le vecteur des bruits, donc les y en héritent, donc la pente estimée est une variable aléatoire. »

Application — le fil rouge
fixealéatoireprocédure
β0, β1, σ
les 200 budgets TV
n = 200, p = 2 paramètres
ε (seule entrée)
y
β1 = 0,0475
ajouter ε au modèle
→ poser la droite des
moindres carrés
→ lire sa pente

Sur les données : = 147,04 (milliers de $ de TV), ȳ = 14,02 (milliers d'unités vendues), d'où

β0 = ȳβ1 = 14,02 − 0,0475 × 147,04 = 7,03

La constante n'est pas ȳ = 14,02 : c'est ȳ ramené en x = 0 le long de la pente. Deux nombres, deux paramètres : d'où le p = 2 qui reviendra au pas 3.

La pente est linéaire dans les bruits tronc

β1 est une combinaison linéaire des yi à poids fixés. En y injectant le modèle, les β ressortent et il ne reste que les bruits :

β1 = β1 + Σi wiεi    avec    wi = (xi) / Σj(xj

Les deux étages de p01-01 s'appliquent : espérance linéaire, puis variances qui s'ajoutent sous indépendance avec un carré sur chaque poids.

E[β1] = β1     Var(β1) = σ² Σwi² = σ² / Σ(xi

« β1 est une combinaison linéaire des yi, donc en injectant le modèle on obtient β1 plus une combinaison des bruits, donc l'espérance est β1 et la variance σ²Σwi² = σ² sur l'étalement des x. »

Application

Trois identités des poids, à vérifier une fois et à ne plus revérifier : Σwi = 0, Σwixi = 1, Σwi² = 1/Sxx avec Sxx = Σ(xi)².

La première donne le non-biais, la troisième la variance. Non biaisé sous H1 seulement — pas besoin de H3 : la gaussianité ne sert à rien ici.

fil rougevaleur
Sxx = Σ(xi)² = 199 × 85,85²1 466 829
Sxx1 211,1
σ / √Sxx  (si σ = 3,26 était connu)0,00269

Ce nombre est déjà le SE affiché, à ceci près qu'on vient d'utiliser un σ qu'on n'a pas. C'est tout l'objet du pas suivant.

Figure 1 — mêmes x, autres bruits : la distribution de la pente

Chaque tirage refait une expérience entière : les 200 x ne bougent pas, les 200 bruits sont retirés dans N(0 ; 3,26²), la droite est réajustée et sa pente tombe dans l'histogramme. Le trait bleu est β1 = 0,05, fixe ; le trait rouge est la moyenne des tirages. Tire 500 fois : la moyenne colle à 0,05 (non-biais du pas 2) et l'écart-type de l'histogramme rejoint le SE théorique σ/√Sxx affiché sous la figure — c'est la même largeur, nommée deux fois.

Le bruit est inconnu : σ² = RSS/(np)

On n'observe pas les εi mais les résidus ri = yiyi. Or l'ajustement les a rabotés : les moindres carrés imposent p = 2 équations linéaires, Σri = 0 et Σrixi = 0.

Les résidus vivent donc dans un sous-espace de dimension np : ils sont systématiquement plus petits que les bruits. Diviser par np — le nombre de directions qui leur restent — corrige exactement.

σ² = RSS/(np),   RSS = Σri²   ⇒   E[σ²] = σ²

« L'ajustement impose p équations linéaires aux résidus, donc ils n'ont plus que np degrés de liberté, donc RSS divisée par np est sans biais pour σ². »

Application — et le n − 1 de Bessel

Fil rouge : RSS = 2 102,6 sur np = 198, d'où σ² = 10,62 et σ = 3,26 — c'est le residual standard error de la sortie logicielle, rien d'autre.

n − 1 n'est pas une autre règle. C'est np avec p = 1 : estimer une variance autour de , c'est ajuster un seul paramètre, donc imposer une seule contrainte Σri = 0.

on ajustepdiviseurnom courant
une moyenne1n − 1Bessel
une droite (pente + constante)2n − 2 = 198RSE
p coefficientspnp

Amplitude de la correction : E[RSS/n] = σ²(np)/n. Sur le fil rouge, diviser par 200 au lieu de 198 donnerait σ = 3,24 — 0,5 % de biais, invisible. À n = 5 et p = 1, c'est 20 % de biais sur la variance : la correction n'est pas une coquetterie, c'est juste qu'elle s'efface quand n est grand.

Le SE : plug-in de σ dans la variance

La variance du pas 2 contient σ, inconnu. Même geste qu'en p01-01 : on y substitue l'estimateur du pas 3.

SE(β1) = σ / √Σ(xi

Deux leviers, deux seulement : le bruit au numérateur, l'étalement des x au dénominateur. Noter l'absence de n : il n'agit qu'à travers Sxx, qui grandit avec le nombre de points — ajouter un point à x = n'apporte rien à la pente.

« La variance de la pente est σ² sur l'étalement des x, donc on y substitue σ qu'on sait calculer, donc le SE est σ divisé par la racine de Σ(xi)². »

Application
SE = 3,2587 / √1 466 829 = 3,2587 / 1 211,1 = 0,002691

Affiché 0,0027 dans la sortie. Ce que chaque levier ferait, toutes choses égales par ailleurs :

on changeeffet sur SE
σ × 2 (données deux fois plus bruitées)× 2
4 × plus de points, même plage de x÷ 2  (Sxx × 4)
plage des x divisée par 7, même n× 7
un point de plus en x = inchangé

C'est aussi la règle de conception d'une expérience : pour une pente, on ne collecte pas plus de points au même endroit, on écarte les x.

Figure 2 — le SE d'une pente vit dans l'étalement des x

Un même bruit σ = 3,26, une même droite vraie bleue y = 7 + 0,05x, 40 points. Les sept droites ambre sont sept ajustements sur sept tirages de bruits fixés une fois pour toutes : seul l'étalement des x change quand tu bouges le curseur. À gauche de la course (x concentrés) les droites pivotent violemment autour du centre du nuage ; à droite (x étalés) elles se confondent. Le readout Sxx et le SE suivent : × 7 sur l'étendue, ÷ 7 sur le SE. Regarde aussi les bords du cadre — c'est loin de que les droites plausibles s'écartent le plus, ce qui est le pas 7 sur l'extrapolation, vu ici.

Le quotient suit une Student à np degrés de liberté tronc

Sous H3, si σ était connu, le rapport (β1β1)/(σ/√Sxx) serait exactement N(0,1) : une normale divisée par une constante.

Mais le dénominateur contient σ, qui fluctue lui aussi d'un échantillon à l'autre. Les tirages où σ tombe un peu bas produisent un quotient nettement plus grand : la loi du rapport a des queues plus lourdes qu'une normale. Sa forme ne dépend que des degrés de liberté de σ², c'est-à-dire np.

t = (β1β10) / SE(β1)  ~  Student(np)    sous H₀ : β1 = β10

« Le numérateur est normal, donc le dénominateur est une estimation de σ qui fluctue, donc le quotient a des queues plus lourdes qu'une normale, donc c'est une Student dont les degrés de liberté sont ceux de σ², c'est-à-dire np. »

Application — le prix des queues lourdes

Le prix se lit de deux façons : le seuil bilatéral à 5 % s'éloigne, et l'aire réellement laissée au-delà de ± 1,96 dépasse 5 %.

npseuil 5 % bilatéralaire au-delà de ± 1,96
24,30318,9 %
52,57110,7 %
302,0425,9 %
1981,9725,1 %
∞ (normale)1,9605,0 %

À 198 degrés de liberté, Student et normale sont à 0,6 % l'une de l'autre : le fil rouge aurait donné la même décision avec 1,96. La distinction ne se paie que sur les petits échantillons — et c'est np qui compte, pas n : vingt observations et quinze coefficients, c'est 5 degrés de liberté, donc un seuil à 2,571.

Figure 3 — Student contre normale, quand on bouge np

La normale centrée réduite ne bouge jamais ; la Student se déforme avec le curseur. À 2 ou 5 degrés de liberté elle est plus basse au centre et plus épaisse aux extrémités : le trait rouge pointillé, qui marque son seuil bilatéral à 5 %, est nettement plus loin que le 1,96 de la normale. Pousse le curseur jusqu'à 198 — la valeur du fil rouge : les deux courbes se superposent et les deux seuils se rejoignent. Le readout « aire au-delà de ± 1,96 » dit ce que coûte l'erreur : croire au 1,96 avec 5 degrés de liberté, c'est prendre un risque de 10,7 % en croyant en prendre un de 5 %.

Lecture de la sortie : 17,67, 198, et l'intervalle

Tout est en place pour rejouer p01-02 à l'identique, en remplaçant simplement « normale et 1,96 » par « Student(np) et son quantile ».

H₀ : β1 = 0 fixe le centre ; le SE fixe la largeur ; t compte combien de SE séparent la pente estimée de zéro ; la p-value est l'aire au-delà, et l'IC95 est la même distance posée autour de β1.

« H₀ fixe le centre à zéro, donc t compte les SE qui séparent la pente estimée de zéro, donc l'aire au-delà se lit dans une Student à np degrés de liberté, donc la p-value et l'intervalle sortent tous deux du même quantile 1,972. »

Application — les quatre nombres du logiciel
t = 0,047537 / 0,0026906 = 17,67    ddl = np = 200 − 2 = 198

Piège d'arrondi. Avec les valeurs imprimées, 0,0475/0,0027 donne 17,59 : le 17,67 est calculé sur les valeurs non arrondies. Deux décimales affichées ne suffisent jamais à reproduire un t.

IC95 = 0,0475 ± 1,972 × 0,002691 = 0,0475 ± 0,0053 = [0,0422 ; 0,0528]
sortievaleurlecture
β10,0475un tirage de la distribution
SE0,0027σ/√Sxx, la largeur
t17,6717,67 largeurs entre 0 et la pente
p< 10⁻³⁰aire bilatérale sous Student(198)

Métier : 1 000 $ de TV en plus ⇒ environ 47,5 unités vendues en plus, et l'intervalle annonce une plage de 42 à 53. C'est l'intervalle, jamais la p-value, qui porte cette échelle.

Où ça casse casse

Séparer deux choses que la sortie mélange : ce qui rend la pente fausse, et ce qui rend son SE faux. Ce ne sont pas les mêmes hypothèses.

« β1 reste sans biais tant que E[ε|x] = 0, donc l'hétéroscédasticité et la dépendance n'abîment que la variance, donc le SE, donc t, la p-value et l'intervalle ensemble ; et un SE juste ne dit toujours rien du domaine où le modèle vaut. »

Quatre limites
  • Hétéroscédasticité. Si Var(ε|x) dépend de x, H1 tombe et le σ² unique de la formule n'existe plus : σ²/Sxx n'est plus la variance de la pente. β1, lui, reste sans biais — c'est E[ε|x] = 0 qui le porte. Le remède porte sur la variance, pas sur la pente : des erreurs standard robustes à l'hétéroscédasticité, qui remplacent le σ² commun par les résidus point par point. Même estimateur, autre estimateur de sa largeur.
  • Bruits dépendants. Séries temporelles, mesures répétées sur le même sujet : les variances ne s'additionnent plus (le Σwi² du pas 2 oublie les covariances croisées). Sous dépendance positive — le cas courant — le SE calculé est trop petit, donc t trop grand et la p-value trop belle. C'est le mécanisme de la dépendance entre lignes de p01-01, transposé aux bruits.
  • Bruits non gaussiens à petit n. H3 tombe : t n'est plus exactement Student, et le seuil lu dans la table est faux — d'autant plus que np est petit, c'est-à-dire là où la table comptait le plus. À grand n, le TCL ramène la normale, que la Student rejoint de son côté : le problème se dissout tout seul.
  • Extrapolation. Un SE décrit l'incertitude sur la pente sous le modèle, pas la validité du modèle hors du support des x observés. Rien dans 0,0027 ne signale qu'aucun budget TV du jeu ne dépasse 300. La figure 2 le montre : c'est loin de que les droites plausibles divergent le plus, et au-delà du nuage on n'a même plus de droites plausibles à comparer.

Résumé

À retenir
  1. L'aléa d'une régression, c'est ε — les x sont fixés. Et β1 = β1 + Σwiεi : linéaire dans les bruits, donc sans biais.
  2. Var(β1) = σ²/Σ(xi)² : bruit sur étalement des x. n n'agit qu'à travers le dénominateur.
  3. σ² = RSS/(np) : l'ajustement impose p contraintes aux résidus, il leur reste np degrés de liberté. Le n − 1 de Bessel est le cas p = 1.
  4. SE = σ/√Σ(xi)², par plug-in. Fil rouge : 3,26/1 211 = 0,0027.
  5. t = β1/SE suit une Student(np) parce que le dénominateur est estimé ; queues plus lourdes, seuil 1,972 à 198 ddl, → normale quand np grandit.
  6. Le reste est p01-02 à l'identique : t = 17,67, IC95 = [0,0422 ; 0,0528], même quantile des deux côtés.
  7. Homoscédasticité et indépendance conditionnent le SE, pas le non-biais ; l'extrapolation n'est dans aucun des deux.
« La pente estimée est le vrai coefficient plus une combinaison linéaire des bruits, donc sa variance est σ² sur l'étalement des x ; σ est inconnu, estimé par RSS sur n moins p, ce qui donne au quotient une loi de Student à n moins p degrés de liberté, qui rejoint la normale dès que n est grand. »

Chaîne verbalisée — une prise, à voix haute

5 maillons · clique pour révéler après avoir dit
  1. Qu'est-ce qui est aléatoire dans un nuage de régression ?
    Les bruits ε, et eux seuls : les x sont fixés (H2). Les y en descendent, donc β̂₁ aussi. Une seule entrée dans la colonne aléatoire.
  2. Écris β̂₁ en fonction de β₁ et des bruits, et conclus.
    β̂₁ = β₁ + Σwᵢεᵢ avec wᵢ = (xᵢ − x̄)/Σ(xⱼ − x̄)². Donc E[β̂₁] = β₁ (sans biais) et Var(β̂₁) = σ²Σwᵢ² = σ²/Σ(xᵢ − x̄)².
  3. Pourquoi RSS/(n − p) et pas RSS/n ?
    L'ajustement impose p contraintes linéaires aux résidus (Σrᵢ = 0, Σrᵢxᵢ = 0) : il leur reste n − p degrés de liberté. E[RSS/n] = σ²(n − p)/n, biaisé ; diviser par n − p corrige exactement. Le n − 1 de Bessel, c'est p = 1.
  4. Pourquoi une Student et pas une normale, et à combien de degrés de liberté ?
    Parce que le SE du dénominateur est estimé et fluctue : le quotient a des queues plus lourdes. Les degrés de liberté sont ceux de σ̂², soit n − p = 198. Seuil 1,972 au lieu de 1,960 ; à petit ddl l'écart explose (2,571 à 5 ddl).
  5. Que casse l'hétéroscédasticité, et que ne casse-t-elle pas ?
    Elle casse le SE — donc t, la p-value et l'IC ensemble — parce que le σ² unique n'existe plus. Elle ne casse pas le non-biais de β̂₁, qui tient à E[ε|x] = 0. Remède : des erreurs standard robustes, qui changent la largeur, pas la pente.