FichesCarte › Partie 01 · L'objet aléatoire › chaîne 02

IC et test — centre, largeur, p-value

Fil A, cas 1. Le logiciel affiche quatre nombres — β̂1 = 1,4, SE = 0,62, p = 0,024, IC95 = [0,18 ; 2,62] — et tous les quatre décrivent le même objet aléatoire : la distribution de l'estimateur. Aucun ne décrit β1, qui est fixe. H₀ fixe le centre de cette distribution, le SE en fixe la largeur ; la p-value est une aire lue sous le centre imposé par H₀, l'intervalle est une largeur posée autour de l'estimateur. Et le 95 % ne qualifie ni l'un ni l'autre : il qualifie la procédure.

Ce que cette chaîne suppose acquis
  • Les trois colonnes. Fixe (le paramètre), aléatoire (l'échantillon, et l'estimateur qui en descend), procédure (la recette qui transforme l'un en l'autre). Tout le tri de cette chaîne se fait dans ce tableau (p01-01, pas 2).
  • Distribution d'échantillonnage et SE. Refaire l'expérience donnerait un autre estimateur ; l'ensemble de ces valeurs a un centre et une largeur, et le SE est cette largeur — une propriété de la procédure, pas du chiffre en main (p01-01, pas 9).
  • La normale et son 1,96. Si Z ~ N(0, 1), alors P(|Z| ≤ 1,96) = 0,95 ; par transformation affine, N(μ, σ²) met 95 % de sa masse dans μ ± 1,96σ (p00-01).
  • Notation. β̂1 porte son chapeau : il est calculé sur les données. β1 n'en porte pas : c'est le paramètre. En fréquentiste on écrit p(x ; β1) et non p(x | β1) — on ne conditionne pas sur une constante.
Hypothèses posées
H1La distribution de β̂1 est normale : β̂1 ~ N(β1, SE²). Acquis ici, avec n grand ; d'où vient cette forme, et pourquoi elle devient un Student quand n est petit, est la chaîne suivante. H2Le SE est connu — ou estimé par plug-in, ce qui ne change aucun raisonnement de cette page, seulement le quantile 1,96. H3Une seule hypothèse testée sur un seul échantillon. Dès qu'il y en a vingt, la lecture d'une p-value change de nature : c'est la multiplicité, chaîne p01-04.

La chaîne

Le décor : deux objets, pas un

Une régression, une sortie de logiciel, quatre nombres. Avant toute interprétation, séparer les deux objets que la ligne mélange.

β1 : la pente vraie. Fixe, inconnue, sans distribution. β̂1 : la pente estimée. Aléatoire, connue, de distribution N(β1, SE²). Le premier est dans la colonne fixe, le second dans la colonne aléatoire.

« β1 est fixe et l'échantillon est tiré, donc β̂1 est la seule quantité aléatoire de la sortie, donc les quatre nombres imprimés décrivent tous la distribution de β̂1, jamais β1 lui-même. »

Application — le fil rouge
nombrece qu'il estcolonne
β̂1 = 1,4un tirage de la distributionaléatoire
SE = 0,62la largeur de cette distributionprocédure
p = 0,024une aire dans cette distribution, recentrée par H₀procédure
IC95 = [0,18 ; 2,62]un intervalle produit par une recetteprocédure
β1la pente vraiefixe, jamais imprimée

Le SE vaut 0,62 : sur des échantillons répétés, les β̂1 se dispersent de ± 0,62 autour de β1. C'est la seule chose que l'on sache avant d'avoir posé une hypothèse.

H₀ porte sur le paramètre tronc

L'hypothèse nulle est une phrase sur la colonne fixe : H₀ : β1 = 0. Jamais « β̂1 = 0 », qui serait une phrase sur un nombre qu'on a sous les yeux et qui vaut 1,4.

Ce que H₀ change, et la seule chose qu'elle change, est le centre de la distribution de l'estimateur :

sans H₀ : β̂1 ~ N(β1, SE²)   →   sous H₀ : β̂1 ~ N(0, SE²)

La largeur, elle, ne bouge pas : elle vient de la procédure d'échantillonnage, pas de l'hypothèse. H₀ fixe le centre, le SE fixe la largeur — deux boutons distincts.

« H₀ fixe le paramètre, donc elle fixe le centre de la distribution de l'estimateur, donc on peut calculer où tomberait β̂1 si H₀ était vraie. »

Application

Sous H₀ : β̂1 ~ N(0 ; 0,62²). On mesure la distance de l'observation au centre imposé, en unités de largeur :

z = (β̂1 − 0) / SE = 1,4 / 0,62 = 2,26

Lecture : l'estimateur observé est tombé à 2,26 largeurs du centre que H₀ impose. Le z ne dit encore rien de rare ou pas — il compte des SE, c'est tout.

Rien dans ce calcul ne suppose que H₀ soit vraie ou fausse : on calcule ce que serait le décor si elle l'était.

La p-value est une aire, sous H₀

Une fois le décor posé, la p-value est une probabilité lue dans N(0, SE²) : celle d'obtenir un estimateur au moins aussi loin de 0 que celui observé.

p = P( |β̂1| ≥ 1,4 ; β1 = 0 ) = 2·(1 − Φ(2,26))

Trois mots à tenir ensemble : c'est une probabilité sur β̂1 (le seul objet aléatoire), conditionnelle à H₀ (le centre est imposé), et bilatérale (les deux queues, tant que la question est « la pente est-elle nulle » et non « est-elle positive »).

« Sous H₀ la distribution de β̂1 est entièrement connue, donc on peut y mesurer l'aire au-delà de la valeur observée, donc cette aire est la p-value — une probabilité sur l'estimateur, jamais sur l'hypothèse. »

Application

1 − Φ(2,26) = 0,0119, donc p = 2 × 0,0119 = 0,024.

β̂1 observéz = β̂1/0,62p bilatérale
0,621,000,317
1,2151,960,050
1,42,260,024
2,03,230,001

La colonne de droite est une aire, pas un degré de croyance : elle répond à « si le centre était 0, à quelle fréquence serais-je tombé aussi loin ? ».

Figure 1 — l'aire au-delà de l'observation

La cloche est N(0 ; 0,62²) : le décor imposé par H₀. Son centre est en 0 : H₀ le dit. Sa largeur est le SE, que H₀ ne touche pas. Déplace β̂1 : les deux traits ambre bougent, l'aire rouge — la p-value — se réduit, et la cloche ne bouge jamais. C'est là que se lit la distinction : le curseur agit sur l'observation, pas sur l'hypothèse. La barre violette ± SE est la largeur, seule quantité que le curseur ne change pas.

L'IC est centré sur l'estimateur tronc

L'intervalle change de point d'appui. Il n'utilise de la distribution que sa largeur ; son centre, il le prend là où il peut — sur le seul nombre disponible.

IC95 = β̂1 ± 1,96 · SE

Le centre de la distribution est β1, inconnu : impossible de dessiner l'intervalle autour de lui. On retourne la relation « β̂1 est à moins de 1,96 SE de β1 dans 95 % des tirages » en « β1 est à moins de 1,96 SE de β̂1 » — la même distance, lue depuis l'autre bout.

L'IC n'est pas centré sur H₀. H₀ n'entre pas dans sa formule : on peut construire l'intervalle sans avoir posé d'hypothèse.

« On ne connaît pas β1, donc on ne peut pas centrer sur lui, donc on centre sur ce qu'on a, β̂1, avec la largeur que donne SE. »

Application
1,96 × 0,62 = 1,215
1,4 ± 1,215 = [0,185 ; 2,615]

Arrondi à deux décimales : [0,18 ; 2,62].

centrelargeur
distribution sous H₀0 (imposé)SE = 0,62
distribution réelleβ1 (inconnu)SE = 0,62
intervalle de confiance1,4 (observé)± 1,96 × 0,62

Trois lignes, une seule largeur, trois centres différents. Confondre la première et la troisième produit l'erreur classique : lire [0,18 ; 2,62] comme un intervalle autour de zéro, ou construire un intervalle autour de 0 et s'étonner que 1,4 en sorte.

Sur quoi porte le 95 % tronc

Le 95 % ne qualifie ni β1 ni l'intervalle en main. Il qualifie la procédure : « tirer un échantillon → calculer β̂1 ± 1,96·SE ».

P( β̂1 − 1,96 SE ≤ β1β̂1 + 1,96 SE ) = 0,95    — aléa : β̂1, et lui seul

Dans cette probabilité, ce qui varie ce sont les bornes, pas β1 qui reste planté au même endroit. Une fois l'échantillon tiré, les bornes valent 0,18 et 2,62 : plus rien n'est aléatoire, et l'intervalle en main contient β1 ou ne le contient pas. On ignore lequel des deux, et aucune probabilité ne décrit cette ignorance en fréquentiste.

« β1 est fixe, donc il n'a pas de probabilité d'être dans un intervalle, donc le 95 % ne peut porter que sur les intervalles, donc sur la procédure qui les produit sur des tirages répétés. »

Application — la traduction mot à mot

« La procédure “tirer un échantillon, calculer la pente, poser ± 1,96 × 0,62 autour d'elle” produit des intervalles qui contiennent β1 dans 95 % des tirages. Celui qu'elle m'a donné cette fois-ci est [0,18 ; 2,62]. »

Test de cohérence : les deux phrases suivantes sont fausses, et on voit pourquoi sur la figure — 95 % des β̂1 tombent dans [0,18 ; 2,62] (non : chaque échantillon déplace l'intervalle avec lui) ; il y a 95 % de chances que β1 soit dans [0,18 ; 2,62] (non : les deux nombres sont tombés, β1 n'a jamais été tiré).

Figure 2 — 50 échantillons, 50 intervalles

Ici on triche : on fixe la vérité à β1 = 1,0 (trait bleu) pour pouvoir compter. Chaque ligne horizontale est un échantillon : son β̂1 est tiré dans N(1 ; 0,62²), et l'intervalle β̂1 ± 1,96·SE est posé autour. Vert si la ligne coupe le trait bleu, rouge sinon. Rejoue : le compte oscille autour de 47 ou 48 sur 50, jamais exactement. La ligne du bas, plus épaisse, est celle que tu as en main : elle est verte ou rouge, et dans la vraie vie tu ne vois ni sa couleur ni le trait bleu. Le 95 % est la proportion de vert sur la colonne entière, pas une propriété de ta ligne.

Dualité : un seul calcul, deux lectures

Test et intervalle comparent la même distance au même seuil. La distance est |β̂1 − 0|, le seuil est 1,96·SE.

0 ∉ IC95  ⟺  |β̂1| > 1,96·SE  ⟺  |z| > 1,96  ⟺  p < 0,05

Généralisation : l'IC95 est exactement l'ensemble des valeurs b que le test au seuil 5 % ne rejetterait pas si l'on posait H₀ : β1 = b. L'intervalle est le test, balayé sur toutes les hypothèses possibles.

« L'IC contient 0 exactement quand la distance de β̂1 à 0 est sous 1,96·SE, donc le test rejette exactement quand elle la dépasse, donc les deux sorties du logiciel sont le même calcul lu dans les deux sens. »

Application

Distance : |1,4 − 0| = 1,4. Seuil : 1,96 × 0,62 = 1,215. Donc 1,4 > 1,215 : on rejette, 0 est hors de l'intervalle, p = 0,024 < 0,05. Les trois lectures s'accordent, forcément.

Le point de bascule est β̂1 = 1,215 : là, la borne basse de l'IC vaut exactement 0 et p vaut exactement 0,050.

Ce que l'IC dit en plus. Le test rend un bit — rejet ou non. L'intervalle rend l'échelle : [0,18 ; 2,62] annonce que la pente pourrait tout aussi bien valoir 0,2 que 2,6, soit un facteur 14 sur l'effet. Une même p-value peut venir d'un intervalle serré autour de 1,4 ou de celui-ci, très large : la décision est la même, la conclusion métier ne l'est pas.

Où ça casse casse

Les quatre erreurs classiques sont quatre façons de déplacer un nombre d'une colonne à l'autre : rendre β1 aléatoire, rendre l'intervalle fixe, oublier combien de tests ont été faits, confondre la largeur avec l'importance.

« La p-value est une probabilité sur les données sous H₀, donc la retourner en probabilité sur H₀ demande un prior, donc sans prior elle ne dit rien de la chance que β1 soit nul, et un intervalle ne dit rien de l'endroit où tombent les autres estimateurs. »

Quatre limites
  • « 97 % de chances que β1 ≠ 0 ». Le complément d'une p-value n'est pas une probabilité d'hypothèse. p = P(données au moins aussi extrêmes ; H₀) ; ce que la phrase veut dire est P(H₀ | données), et passer de l'une à l'autre demande la formule de Bayes, donc un prior sur β1 — c'est le fil B, et c'est un autre cadre, pas une reformulation.
  • « 95 % des échantillons donnent β̂1 dans [0,18 ; 2,62] ». L'intervalle n'est pas une plage de tirage : il se déplace avec chaque échantillon, comme les 50 lignes de la figure 2. La quantité qui vaut 95 % est la proportion d'intervalles contenant β1, jamais la proportion d'estimateurs tombant dans l'un d'eux.
  • Multiplicité. Sous H₀ partout, une p-value est uniforme sur [0, 1] : sur 20 hypothèses testées, on attend 1 résultat à p < 0,05, et la chance d'en voir au moins un est 1 − 0,95²⁰ = 0,64. La p-value affichée suppose H3 — un seul test. Combien en a-t-on fait est une information qui ne figure pas dans la sortie (chaîne p01-04).
  • Significatif n'est pas important. Le SE décroît en 1/√n : avec n énorme, β̂1 = 0,001 et SE = 0,0002 donnent z = 5 et une p-value de 6·10⁻⁷, pour un effet nul en pratique. L'IC, lui, l'annonce : [0,0006 ; 0,0014]. Lire l'intervalle avant la p-value — il porte l'échelle, elle ne porte qu'une décision.

Résumé

À retenir
  1. H₀ porte sur le paramètre (β1 = 0), jamais sur l'estimateur. Elle fixe le centre de la distribution de β̂1 ; le SE en fixe la largeur.
  2. p = P(au moins aussi extrême ; H₀) : une aire sous N(0, SE²), donc une probabilité sur β̂1. Ici 2·(1 − Φ(2,26)) = 0,024.
  3. IC = β̂1 ± 1,96·SE : centré sur l'estimateur — le centre vrai est inconnu — largeur donnée par le SE. Ici [0,185 ; 2,615].
  4. Le 95 % porte sur la procédure : la proportion d'intervalles couvrant β1 sur des tirages répétés. L'intervalle en main le contient ou non.
  5. Dualité : 0 ∉ IC95 ⟺ |z| > 1,96 ⟺ p < 0,05. Même distance, même seuil.
  6. Ni « probabilité que β1 ≠ 0 » (il faudrait un prior), ni « 95 % des β̂ tombent dans cet IC » (l'intervalle bouge avec l'échantillon).
  7. Une p-value suppose un seul test ; un effet significatif peut être minuscule. L'intervalle porte l'échelle.
« L'hypothèse nulle porte sur la pente vraie ; sous cette hypothèse l'estimateur est centré en zéro avec la largeur SE, et la p-value est la probabilité d'observer au moins aussi loin de zéro. L'intervalle, lui, est centré sur l'estimateur, et le 95 % décrit la procédure : sur des tirages répétés, 95 % des intervalles qu'elle produit contiennent la vraie pente. »

Chaîne verbalisée — une prise, à voix haute

5 maillons · clique pour révéler après avoir dit
  1. Sur quoi porte H₀, et qu'est-ce qu'elle change ?
    Sur β1, le paramètre fixe — jamais sur β̂1. Elle change le centre de la distribution de l'estimateur : N(0, SE²). La largeur, non.
  2. Que vaut la p-value ici, et que dit-elle exactement ?
    0,024 = P(|β̂1| ≥ 1,4 ; β1 = 0). Une aire sous N(0 ; 0,62²), bilatérale : une probabilité sur l'estimateur, conditionnelle à H₀.
  3. Sur quoi l'intervalle est-il centré, et pour quelle raison ?
    Sur β̂1 = 1,4 : β1 est inconnu, on ne peut pas centrer dessus. Seule la largeur vient de la distribution : ± 1,96 × 0,62 = ± 1,215.
  4. Sur quoi porte le 95 % ?
    Sur la procédure « tirer → calculer β̂1 ± 1,96 SE » : 95 % des intervalles qu'elle produit contiennent β1. Celui en main le contient ou non.
  5. Pourquoi « 97 % de chances que β1 ≠ 0 » est-il faux ?
    β1 n'est pas aléatoire, il n'a pas de probabilité. Et p = P(données ; H₀), pas P(H₀ | données) : retourner le conditionnement demande un prior.