FichesCarte › Partie 00 · Socle probabiliste › chaîne 04

Moyenne, loi des grands nombres, théorème central limite

On moyenne n mesures. Quatre questions, dans cet ordre : où est le centre, quelle est la largeur, quelle est la forme, et à partir de quel n. Les réponses sont μ, σ/√n, la normale, et « ça dépend de la loi ». Fil rouge : la moyenne de n dés (μ = 3,5 ; σ = 1,708), puis deux lois qui mettent bien plus longtemps à donner une cloche — l'exponentielle et une Bernoulli rare.

Ce que cette chaîne suppose acquis
  • L'espérance est linéaire, toujours. E[aX + b] = aE[X] + b et E[X + Y] = E[X] + E[Y] même si X et Y sont liés (p00-02, pas 2).
  • Un facteur passe au carré dans la variance. Var(aX + b) = a²Var(X) : c'est de là, et de nulle part ailleurs, que viendra le 1/n² (p00-02, pas 4).
  • Les variances ne s'additionnent que si la covariance est nulle. Var(ΣXi) = Σ Var(Xi) sous indépendance, et pas autrement (p00-02, pas 5).
  • La normale et ses trois bandes. ±1σ : 68,3 % ; ±2σ : 95,4 % ; ±3σ : 99,7 % — deux paramètres, position et échelle (p00-01, pas 6).
  • Le dé du fil rouge. μ = 3,5, Var = 35/12 = 2,917, σ = 1,708 — calculé face par face en p00-02, pas 3.
Hypothèses posées
H1X1, …, Xn sont iid — indépendantes et de même loi — d'espérance μ et de variance σ² finie. Chacun des trois mots porte un pas : « même loi » donne μ et σ, « indépendantes » donne l'additivité, « variance finie » donne le TCL. H2n est le nombre de termes moyennés, pas le nombre d'événements intéressants qu'ils contiennent. Un n de 100 avec deux succès dedans n'est pas un n de 100 pour le TCL — c'est la casse du pas 8. H3On décrit la loi de avant de voir les données : μ et σ sont les vrais paramètres, pas des estimations. Les remplacer par leurs estimations est un pas supplémentaire, traité en p01-01.

La chaîne

Le décor : une moyenne est une variable aléatoire

= (X1 + … + Xn)/n est calculée à partir du tirage : refaire l'expérience change sa valeur. Ce n'est donc pas un nombre, c'est une variable aléatoire — et comme toute variable aléatoire elle a un centre, une largeur et une forme.

Toute la chaîne consiste à nommer ces trois choses, dans cet ordre. C'est la « colonne aléatoire » de p01-01, vue ici sans contexte d'estimation.

« La moyenne est calculée sur des variables aléatoires, donc elle change quand on refait l'expérience, donc c'est elle-même une variable aléatoire, donc elle a un centre, une largeur et une forme à calculer. »

Application — trois fois quatre dés

Le même protocole, « jeter 4 dés et faire la moyenne », rejoué trois fois :

tiragefaces
12, 5, 1, 53,25
26, 3, 4, 54,5
31, 4, 3, 32,75

Trois valeurs différentes pour un protocole identique : c'est exactement ce qui fait de une variable aléatoire. La question n'est pas « combien vaut » mais « quelle est la loi de ».

Centre : E[] = μ

Rien d'autre que la linéarité de l'espérance, appliquée deux fois : elle traverse la somme, puis la constante 1/n sort.

E[] = (1/n) EXi] = (1/n) Σ E[Xi] = (1/n) · nμ = μ

Aucune hypothèse d'indépendance n'est utilisée : même sur des mesures fortement corrélées, la moyenne reste centrée sur μ. C'est le pas le plus robuste de la chaîne, et c'est pour ça que la dépendance ne se voit jamais dans le centre — seulement dans la largeur.

« L'espérance est linéaire, donc celle de la somme est n fois μ, donc celle de la moyenne est μ, et cela quelles que soient les dépendances entre les termes. »

Application

Dé : μ = 3,5, donc E[] = 3,5 pour n = 1, 4, 100 ou 10 000. Le centre ne dépend pas de n.

Test de la dépendance. Jeter un seul dé et recopier sa face quatre fois : = X, donc E[] = 3,5 — le centre est intact alors que les quatre « mesures » sont maximalement dépendantes. Sa largeur, elle, vaut 1,708 au lieu de 0,854 : toute l'information sur la dépendance est passée dans la variance (p00-02, pas 5).

Corollaire de vocabulaire : est un estimateur sans biais de μ. Le biais est un écart de centre, et il n'y en a pas ici.

Largeur : Var() = σ²/n tronc

Deux règles de p00-02, dans cet ordre, et rien d'autre. Les n termes sont indépendants, donc leurs variances s'ajoutent ; puis on divise par n, et un facteur passe au carré.

Var(Σ Xi) = nσ²    Var() = nσ²/n² = σ²/n    SE = σ/√n

Le n du haut vient de l'additivité, le n² du bas de la division : il ne reste qu'un n. Cet écart-type de la moyenne porte un nom à lui, l'erreur standard (SE), pour rappeler qu'il décrit la dispersion d'une quantité calculée et non celle des mesures elles-mêmes.

« Les n termes sont indépendants, donc leurs variances s'ajoutent en n σ², donc diviser par n divise la variance par n au carré, donc la largeur de la moyenne est σ sur racine de n. »

Application — le dé

σ² = 35/12 = 2,917, σ = 1,708. Var() = 2,917/n :

nVar() = 2,917/nSE = 1,708/√n
12,9171,708
40,7290,854
250,1170,342
1000,0290,171
4000,0070,085

De 1 à 4 dés la largeur est divisée par 2 ; de 4 à 400, par 10. À chaque fois, n a été multiplié par le carré du facteur gagné.

Figure 1 — la même cloche, de plus en plus étroite

Chaque tirage lance n dés et pose leur moyenne dans l'histogramme — la hauteur d'une barre est la part des tirages tombés dedans. L'axe garde les mêmes bornes 1 à 6 à toutes les valeurs de n, et c'est ce qui rend le resserrement lisible. Le trait épais bleu est μ = 3,5, le trait fin rouge la moyenne des tirages : elle vient se poser dans le bleu et n'en bouge plus quand n change — seule la largeur bouge. Compare dans le bandeau le SE théorique σ/√n et l'écart-type mesuré — ce sont deux noms de la même largeur. Regarde aussi la forme : à n = 1 six barres plates, à n = 2 un triangle, à n = 4 déjà une cloche.

Le 1/√n est lent, et c'est structurel

La racine change tout le rapport coût/précision. Gagner un facteur k sur la largeur demande un facteur k² sur la taille de l'échantillon.

SE(k²n) = SE(n)/k    ÷2 sur la largeur ⇒ ×4 sur n    ÷10 ⇒ ×100

C'est le prix de toute précision statistique : intervalle de confiance, A/B test, évaluation d'un modèle. Et c'est aussi la forme mathématique des rendements décroissants de « plus de données » — sans hypothèse supplémentaire, on n'y échappe pas.

« Le SE est proportionnel à un sur racine de n, donc diviser la largeur par k exige de multiplier n par k au carré, donc chaque décimale de précision coûte cent fois plus de données que la précédente. »

Application — combien de dés pour quelle précision
SE visén = (1,708/SE)²n requis
0,511,6712
0,1291,7292
0,051 166,71 167
0,0129 166,729 167

Passer de 0,1 à 0,05 — un simple facteur 2 — coûte 875 dés de plus. Passer de 0,05 à 0,01 en coûte 28 000.

Lecture à l'envers, la seule utile en entretien : devant un SE, la question n'est pas « est-il petit » mais « quel n faudrait-il pour le diviser par deux ». La réponse est toujours : quatre fois celui-ci.

LGN : → μ parce que sa variance → 0 tronc

L'inégalité de Chebyshev transforme la largeur en probabilité : un écart fixé ε devient de plus en plus improbable à mesure que la variance tombe.

P(| − μ| > ε) ≤ Var()/ε² = σ²/(nε²)  →  0

La somme, elle, s'écarte. σ(Sn) = σ√n croît : l'écart de la somme à nμ grandit sans fin. « Les tirages finissent par se compenser » est donc faux — rien ne se compense, c'est la division par n qui écrase un écart qui, lui, continue de grandir.

« La variance de la moyenne tend vers zéro, donc la probabilité d'un écart fixé tend vers zéro, donc la moyenne converge vers μ — et cela par la division par n, non par une compensation entre les tirages. »

Application — la borne et la vérité

n = 100 dés, ε = 0,5 :

P(| − 3,5| > 0,5) ≤ 2,917/(100 × 0,25) = 0,117
sourceP(| − 3,5| > 0,5)
Chebyshev (borne, aucune hypothèse de forme)≤ 0,117
TCL (forme normale supposée)0,0034
valeur exacte (loi de la somme de 100 dés)0,0030

Chebyshev surestime de plus d'un facteur 30 : c'est le prix de ne rien supposer sur la forme. Sa valeur n'est pas numérique, elle est logique — elle démontre la convergence, sans invoquer le TCL.

Moyenne vs somme, sur 1 000 dés. SE de la moyenne = 0,054 ; écart-type de la somme = 1,708 × √1 000 = 54,0. Un facteur 1 000 entre les deux — et c'est le même tirage.

Figure 2 — un seul chemin, deux lectures opposées

Les deux courbes rouges lisent le même tirage de 1 000 dés, l'une divisée par n, l'autre non. En haut la moyenne cumulée, avec la bande ±2σ/√n qui se referme sur μ = 3,5 : le chemin y est piégé. En bas la somme cumulée moins 3,5n, avec la bande ±2σ√n qui s'ouvre : le même chemin s'éloigne de zéro, souvent de plusieurs dizaines. Clique « nouveau chemin » plusieurs fois — en haut ça converge à tous les coups, en bas ça ne revient jamais se poser durablement sur zéro. Rien ne se compense : c'est la division par n, et elle seule, qui fabrique la convergence.

TCL : la forme devient normale tronc

La moyenne standardisée converge en loi vers une normale standard, quelle que soit la loi des Xi, pourvu que σ² soit finie.

( − μ)/(σ/√n) → N(0, 1)    autrement dit   N(μ, σ²/n)

Chaque terme pèse 1/n et n'influence aucun autre : la somme « oublie » la loi de départ, il ne lui reste que ses deux premiers moments. Le TCL ne dit rien du centre ni de la largeur — ils sont déjà connus (pas 2 et 3) : il ne donne que la forme.

La vitesse, elle, dépend de la loi. Rapide pour une loi symétrique, lente pour une loi asymétrique, très lente quand un événement est rare — c'est le nombre d'événements dans l'échantillon qui compte, pas n.

« Chaque terme contribue peu et indépendamment des autres, donc la forme de la somme ne dépend plus de la forme des termes, donc elle devient normale — d'autant plus vite que la loi de départ est symétrique et sans queue. »

Application — un calcul, puis les trois vitesses

n = 100 dés : N(3,5 ; 0,171²). D'où

P( > 3,8) = P(Z > (3,8 − 3,5)/0,171) = P(Z > 1,76) = 0,039

La valeur exacte est 0,037 : l'approximation se trompe de 2 points pour mille, sur une loi discrète à six valeurs et seulement 100 termes.

loi moyennéeformen pour une cloche
dé (symétrique, bornée)plate4
Exponentielle(1) (asymétrique)queue à droite100
Bernoulli(0,02) (rare)deux atomesnp ≥ 10, donc n ≥ 500

« n ≥ 30 » n'apparaît nulle part dans ce tableau : c'est un ordre de grandeur valable pour la première ligne, faux pour la troisième.

Figure 3 — une loi asymétrique met longtemps

Même dispositif que la figure 1, mais on moyenne des Exponentielle(1) (μ = 1, σ = 1) au lieu de dés. À n = 2 la loi monte d'un coup depuis zéro puis traîne longtemps à droite ; à n = 10 la cloche penche encore nettement ; il faut n ≈ 100 pour qu'elle paraisse symétrique. Le trait épais bleu est μ = 1, le trait fin rouge la moyenne des tirages. Ce n'est pas la largeur qui règle la vitesse — le SE vaut toujours σ/√n, il est écrit dans le bandeau — c'est l'asymétrie de la loi de départ, et elle ne s'efface qu'en 1/√n elle aussi. La dernière barre ramasse tout ce qui dépasse 3 : à n = 2 c'est encore 2 % des tirages, à n = 10 plus rien.

Figure 4 — un événement rare : ce qui compte est le nombre de succès

On moyenne maintenant des Bernoulli(0,02) — la moyenne est donc une proportion observée, centrée sur 0,02. À n = 20 il n'y a que trois barres — zéro succès, un succès, et tout le reste tassé contre le bord droit ; à n = 100 (np = 2) un peigne asymétrique collé à zéro, où 13 % des tirages ne contiennent aucun succès. Il faut n = 500, c'est-à-dire np = 10, pour voir une cloche. Compare avec la figure 1 : même n = 100, cloche d'un côté, peigne de l'autre. Le TCL ne compte pas les lignes, il compte les succès.

Standardiser : la brique de tout intervalle

Une fois la forme connue, on ramène à une échelle universelle en soustrayant le centre et en divisant par la largeur.

Z = ( − μ)/(σ/√n) ≈ N(0, 1)    P(|Z| < 1,96) = 0,95

Réécrite en , cette ligne est l'intervalle de confiance : ± 1,96 σ/√n. Deux amendements l'attendent et ne sont pas ici : σ est inconnu et se remplace par son estimation (p01-01), et à petit n ce remplacement élargit l'intervalle — c'est Student (p01-03).

« La moyenne est approximativement normale de centre μ et de largeur σ sur racine de n, donc sa version standardisée est une normale standard, donc 95 % de sa masse est dans plus ou moins 1,96, donc l'intervalle est X barre plus ou moins 1,96 σ sur racine de n. »

Application

100 dés, σ connu : la procédure « jeter 100 dés, moyenner » produit 95 % du temps une valeur dans

3,5 ± 1,96 × 0,171 = [3,165 ; 3,835]

Retour au pas 6 : P( > 3,8) = 0,039, donc 3,8 est presque la borne haute — cohérent, 1,76 est proche de 1,96.

Ce que la standardisation permet vraiment : comparer des écarts issus de lois et d'unités différentes. « 2,4 écarts-types » se lit pareil pour un temps de réponse, une accuracy ou un taux de clic. C'est le vocabulaire commun des pas 7 des parties suivantes.

Où ça casse casse

Trois des quatre limites viennent de H1, une seule du folklore. À chaque fois, savoir laquelle des trois conditions est tombée suffit à prédire ce qui casse.

« Le σ sur racine de n suppose l'indépendance et une variance finie, donc corrélation et queues lourdes le rendent faux, donc quand il tient encore c'est sa forme normale qui peut manquer, et l'ordre de grandeur n supérieur à trente n'est jamais ce qui l'autorise. »

Quatre limites
  • Dépendance — la largeur ne tend plus vers zéro. Avec une corrélation commune ρ entre les termes, Var() = ρσ² + (1 − ρ)σ²/n : le second terme s'efface, le premier reste. Avec ρ = 0,05 sur le dé, le SE plafonne à 0,382 quel que soit n — contre 0,017 à n = 10 000 sous indépendance, soit 22 fois trop optimiste. Plusieurs lignes d'un même utilisateur, points successifs d'une série temporelle : c'est le cas courant, pas le cas rare. Le pont b04 dérive la formule.
  • Variance infinie — ni LGN utile, ni TCL. Cauchy, Pareto d'indice ≤ 2 : σ² n'existe pas, σ/√n n'a pas de sens. La moyenne de n Cauchy suit exactement la même loi qu'une seule : moyenner n'apporte strictement rien. Signe clinique : une moyenne empirique qui ne se stabilise pas et saute à chaque gros tirage.
  • Événements rares — n n'est pas la bonne échelle. Le TCL demande que chaque terme pèse peu ; avec p = 0,02, un échantillon de 100 lignes contient deux succès et la loi reste un peigne (figure 4). La règle est np ≥ 10 et n(1 − p) ≥ 10 : c'est le nombre de succès, pas la prévalence ni la taille d'échantillon, qui décide. C'est la même chose que le 28/30 de p01-01, vu ici depuis le TCL.
  • « n ≥ 30 » n'est pas un théorème. C'est un ordre de grandeur pour des lois symétriques à queue courte. Faux vers le bas pour une exponentielle (≈ 100), très faux pour une Bernoulli rare (≥ 500). La question utile n'est jamais « n est-il assez grand » mais « à quelle vitesse cette loi-là oublie-t-elle sa forme ».

Résumé

À retenir
  1. est une variable aléatoire ; E[] = μ sans aucune condition, dépendance comprise.
  2. Var() = σ²/n sous indépendance ; SE = σ/√n ; ÷2 sur la largeur = ×4 sur n.
  3. LGN : → μ parce que sa variance → 0 (Chebyshev), pas par compensation — la somme, elle, s'écarte en σ√n.
  4. TCL : forme normale quelle que soit la loi, à variance finie. Il donne la forme, pas le centre ni la largeur.
  5. Vitesse selon la loi : dé n = 4, exponentielle ≈ 100, Bernoulli rare np ≥ 10.
  6. Z = ( − μ)/(σ/√n), ±1,96 pour 95 % : la brique de l'IC.
  7. Casse : dépendance (ρσ² résiduel), variance infinie, événements rares, « n ≥ 30 » pris pour une loi.
« La moyenne de n observations indépendantes est centrée sur μ, de largeur σ sur racine de n, et sa forme devient normale quelle que soit la loi de départ dès que chaque terme pèse peu — vite pour une loi symétrique, lentement pour une loi asymétrique, et pas avant dix succès pour un événement rare. Elle converge parce que sa variance tend vers zéro, pas parce que les tirages se compensent. »

Chaîne verbalisée — une prise, à voix haute

5 maillons · clique pour révéler après avoir dit
  1. D'où vient le σ²/n ?
    Additivité des variances sous indépendance → nσ² ; division par n → facteur 1/n² ; il reste σ²/n.
  2. Pourquoi converge-t-elle, et que fait la somme pendant ce temps ?
    Var() → 0, donc Chebyshev écrase la probabilité d'un écart fixé. La somme a un écart-type σ√n qui croît : rien ne se compense, c'est la division par n qui converge.
  3. Que dit le TCL exactement, et sous quelles conditions ?
    ( − μ)/(σ/√n) tend en loi vers N(0, 1) : indépendance, même loi, variance finie. Il donne la forme seulement — centre et largeur sont déjà connus.
  4. À partir de quel n ?
    Dépend de la loi : 4 pour un dé, ≈ 100 pour une exponentielle, np ≥ 10 pour une Bernoulli rare (donc n ≥ 500 à p = 0,02). « n ≥ 30 » est un ordre de grandeur, pas un théorème.
  5. Que devient σ²/n si les termes sont corrélés ?
    ρσ² + (1 − ρ)σ²/n : le terme en 1/n s'efface, le ρσ² reste. La largeur plafonne au lieu de tendre vers zéro ; le centre, lui, reste μ.