FichesCarte › Partie 00 · Socle probabiliste › chaîne 03

Conditionnement et Bayes : le base rate décide

Un test détecte 90 % des cas et se trompe sur 5 % des sains. Il est positif : quelle est la probabilité d'être un cas ? Sensibilité et spécificité appartiennent au test ; la réponse appartient à la population, et elle dépend d'un nombre que le test ne connaît pas — la prévalence. Fil rouge : 100 000 personnes, prévalence 1 %, qui donnent 900 vrais positifs contre 4 950 faux, donc P(cas | +) = 0,154 et non 0,90.

Ce que cette chaîne suppose acquis
  • Événement et probabilité. Un événement est une partie de l'univers ; sa probabilité est une masse entre 0 et 1, et les masses d'une partition somment à 1. On part de là et on la restreint (p00-02, pas 1).
  • Indépendance = produit. P(X = x, Y = y) = P(X = x)P(Y = y) : c'est l'hypothèse H2 de p00-02, celle qui annule la covariance et rend la variance additive (p00-02, pas 5). Ici on va voir ce qu'elle veut dire en termes de conditionnement.
  • Cov = 0 n'est pas l'indépendance. La corrélation ne voit que le linéaire (p00-02, pas 6) ; l'indépendance, elle, se lit sur les probabilités conditionnelles, et c'est le pas 3 d'ici.
  • Tout est discret ici. Malade / sain, positif / négatif : des masses, pas des densités. Le conditionnement continu existe mais n'est pas cette chaîne (p00-02, pas 7).
Hypothèses posées
H1Sensibilité et spécificité sont des propriétés du test, stables d'une population à l'autre. C'est une idéalisation commode : elle isole ce qui voyage de ce qui ne voyage pas. H2La prévalence est une propriété de la population testée, et elle change selon qui on teste : dépistage de masse, consultation, service d'urgence. Rien dans le test ne la contient. H3Un seul test, appliqué une fois. Répéter le même test n'est pas un second test indépendant, et le pas 3 dira pourquoi ça compte.

La chaîne

Le décor : deux phrases qui se ressemblent

« 90 % des cas sont positifs » et « 90 % des positifs sont des cas ». La première décrit le test : on s'est placé chez les malades et on compte les positifs. La seconde décrit le patient : on s'est placé chez les positifs et on compte les malades.

Même intersection, deux dénominateurs différents. Rien n'oblige les deux nombres à coïncider, et ici ils diffèrent d'un facteur six.

« Les deux phrases se placent dans des populations différentes, donc elles n'ont pas le même dénominateur, donc l'une est une propriété du test et l'autre une propriété du patient, donc il faut un calcul pour passer de la première à la seconde. »

Application — ce qu'on sait, ce qu'on cherche
quantitévaleurà qui elle appartient
P(+ | M) sensibilité0,90le test
P(− | ¬M) spécificité0,95le test
P(M) prévalence0,01la population
P(M | +)?la question

La réponse spontanée est 0,90 ou « autour de 0,85 ». La réponse est 0,154. Les sept pas qui suivent ne font que dérouler pourquoi.

Conditionner = restreindre l'univers tronc

Conditionner par B, c'est jeter tout ce qui n'est pas B puis renormaliser par ce qui reste. Défini dès que P(B) > 0.

P(A | B) = P(AB) / P(B)

Le numérateur est symétrique en A et B ; seul le dénominateur choisit le sens. Toute l'asymétrie du conditionnement tient dans ce dénominateur.

« Sachant B, les seuls cas possibles sont ceux de B, donc la probabilité de A est la part de A dans B, donc P(A ∩ B) sur P(B), donc changer de condition ne change que le dénominateur. »

Application — le même numérateur, deux dénominateurs

Sur 100 000 personnes à 1 % de prévalence : 900 individus sont à la fois malades et positifs.

P(+ | M) = 900 / 1 000 = 0,90     P(M | +) = 900 / 5 850 = 0,154

Le 900 ne bouge pas. Ce qui bouge, c'est qu'on divise par les 1 000 malades ou par les 5 850 positifs. Le rapport des deux réponses est exactement le rapport des deux dénominateurs : 5 850/1 000 = 5,85.

Indépendance ⇔ le conditionnement ne change rien

Deux événements sont indépendants quand savoir l'un n'apprend rien sur l'autre :

P(A | B) = P(A)  ⇔  P(AB) = P(A)P(B)

La seconde écriture est symétrique et survit à P(B) = 0. C'est elle, et elle seule, qui autorise à multiplier : la Binomiale, la vraisemblance d'un échantillon iid comme produit (fil B). Pas d'indépendance, pas de produit.

« Indépendance signifie que conditionner ne change rien, donc P(A | B) = P(A), donc P(A ∩ B) = P(A)P(B), donc l'indépendance est exactement la licence de multiplier des probabilités. »

Application — ce test n'est pas indépendant de la maladie

P(+ | M) = 0,90 alors que P(+) = 0,0585 : savoir qu'on est malade change la probabilité d'être positif d'un facteur 15,4. C'est cet écart qui est l'information apportée par le test.

Le cas dégénéré éclaire le reste : un test inutile aurait P(+ | M) = P(+ | ¬M), donc + serait indépendant de M, donc P(M | +) = P(M) = la prévalence. Le pas 7 le relira comme LR = 1.

Attention au sens de lecture : Cov = 0 n'est pas l'indépendance (p00-02, pas 6) ; ici c'est la définition par le conditionnement qui sert, pas la corrélation.

Probabilités totales : les positifs viennent de deux sources

Une partition de l'univers — ici M et ¬M — découpe n'importe quel événement en morceaux disjoints qu'on additionne, chacun pesé par le poids de sa branche.

P(+) = P(+ | M)P(M) + P(+ | ¬M)PM)

C'est le dénominateur qui manquait au pas 2. Il ne se lit nulle part dans la fiche du test : il faut la prévalence pour le calculer.

« Un positif est soit un cas détecté, soit un sain mal classé, donc P(+) additionne les deux voies pondérées par leur poids dans la population, donc le dénominateur de Bayes contient la prévalence. »

Application — les deux voies, chiffrées
voiecalculpoids
cas détecté0,90 × 0,010,0090
sain mal classé0,05 × 0,990,0495
P(+)somme0,0585

La seconde voie pèse 5,5 fois la première. Le test est pourtant bien meilleur sur les malades (0,90) que mauvais sur les sains (0,05) : c'est le 0,99 qui écrase tout.

Bayes = inverser le conditionnement tronc

P(M ∩ +) s'écrit dans les deux sens : P(M | +)P(+) = P(+ | M)P(M). On isole :

P(M | +) = P(+ | M)P(M) / P(+)

Lecture : posterior ∝ vraisemblance × prior. Le numérateur porte toute l'information, le dénominateur ne fait que ramener la somme à 1.

« L'intersection s'écrit dans les deux sens, donc P(M | +)P(+) = P(+ | M)P(M), donc P(M | +) est la vraisemblance fois le prior divisée par la probabilité totale du positif, donc le posterior est proportionnel à vraisemblance × prior. »

Application — le calcul, en trois nombres
P(M | +) = 0,0090 / 0,0585 = 0,154

Vérification de la normalisation : PM | +) = 0,0495/0,0585 = 0,846, et 0,154 + 0,846 = 1. Le dénominateur ne fait rien d'autre.

Le test a multiplié la croyance par 15,4 : de 1 % à 15,4 %. C'est beaucoup — et c'est encore loin de 50 %. Les deux choses sont vraies en même temps, et c'est tout l'intérêt de garder le prior en vue.

En effectifs, ça se voit tronc

Le même calcul, en personnes plutôt qu'en fractions : 100 000 testés, 1 000 cas et 99 000 sains. Les cas donnent 900 vrais positifs ; les sains, à 5 % d'erreur seulement, en donnent 4 950.

Les sains sont 99 fois plus nombreux : leur petit taux d'erreur l'emporte sur le bon taux de détection des cas. Le base rate décide, et aucune amélioration de la sensibilité ne peut le compenser — elle plafonne à 1 000 vrais positifs.

« Les sains sont 99 fois plus nombreux, donc même une petite erreur sur eux dépasse une grosse détection sur les cas, donc la majorité des positifs sont des faux, donc la prévalence commande la valeur d'un positif. »

Application — le tableau 2 × 2 sur 100 000
test +test −total
malade9001001 000
sain4 95094 05099 000
total5 85094 150100 000

VPP = 900/5 850 = 0,154. Même test, prévalence 10 % : 9 000 vrais positifs contre 4 500 faux, VPP = 9 000/13 500 = 0,667. Le test n'a pas changé d'une ligne.

Bascule à 50 % : il faut une prévalence de 5,3 % pour que les vrais positifs égalent les faux, avec ce test.

Figure 1 — les effectifs, et où passent les positifs

Barre du haut : la population, coupée en cas (bleu) et sains (violet) — largeurs en racine carrée des effectifs, sinon les cas disparaissent. Barres du bas : les positifs et les négatifs, chacun coupé en vrais et faux, cette fois à l'échelle linéaire — la part bleue de la barre « positifs » est la VPP, lue comme une longueur, et le rouge à côté est le tas de faux positifs. Baisse la prévalence : la part bleue fond alors que sensibilité et spécificité n'ont pas bougé. Regarde le rapport TP/FP, pas les pourcentages du test.

Figure 2 — la VPP en fonction de la prévalence

Sensibilité fixée à 0,90 ; seule la spécificité bouge. La courbe violette est le fil rouge (spécificité 0,95), la bleue suit le curseur. Axe des prévalences en log, de 0,1 % à 50 %, avec les deux repères pointillés du fil rouge, à 1 % et 10 %. À prévalence faible la courbe est écrasée contre zéro : c'est la spécificité seule qui décide, parce que c'est elle qui multiplie le gros effectif. Monte-la jusqu'à 0,999 : la courbe décolle enfin et la VPP à 1 % passe de 15 % à 90 %.

Le même calcul en cotes : un multiplicateur

Écris Bayes pour M et pour ¬M, puis divise : le P(+) disparaît. Reste, en cotes (p/(1−p)) :

cote(M | +) = cote(M) × LR+     LR+ = P(+ | M) / P(+ | ¬M) = sensibilité / (1 − spécificité)

Le test se résume à un seul nombre, son rapport de vraisemblance ; la population apporte le point de départ. Séparer les deux est ce qui évite l'erreur.

« Le dénominateur P(+) est le même dans les deux branches, donc il s'annule dans le rapport, donc la cote a posteriori est la cote a priori multipliée par le rapport de vraisemblance, donc le test est un multiplicateur et la population fixe le point de départ. »

Application — 1:99 × 18 = 18:99

LR+ = 0,90/0,05 = 18. Cote a priori = 0,01/0,99 = 1:99. Cote a posteriori = 18:99, soit p = 18/117 = 0,154 — le même nombre qu'au pas 5.

Le négatif se lit pareil : LR = (1 − sensibilité)/spécificité = 0,10/0,95 = 0,105. Cote 1:99 × 0,105 = 1:940, donc P(M | −) = 0,00106 et la VPN vaut 99,9 %. À faible prévalence, un négatif est très informatif et un positif ne l'est pas.

Repères : LR > 10 déplace fortement, LR entre 2 et 5 déplace un peu, LR = 1 ne déplace rien.

Figure 3 — l'échelle des cotes

Une seule règle graduée en cotes, en échelle log : le point du haut est la cote a priori (la population), la flèche verte est la multiplication par le LR (le test), le point du bas est la cote a posteriori. Déplace le LR : la flèche penche toujours de la même quantité pour un même LR, où qu'on parte — c'est ce que veut dire « multiplicateur ». Déplace la prévalence : la flèche garde son inclinaison et glisse. À LR = 1 elle devient verticale, et le test n'apprend rien.

Traduction en métriques de classification

Le même tableau 2 × 2, avec les noms du ML : sensibilité = rappel = TPR ; spécificité = TNR ; 1 − spécificité = FPR ; P(M | +) = précision = VPP.

Rappel et FPR se lisent chacun à l'intérieur d'une seule ligne du tableau : les effectifs relatifs des deux lignes n'y entrent pas. La précision a un dénominateur TP + FP qui mélange les deux lignes — pas un seul TN dedans, mais des FP dont le nombre est proportionnel à celui des sains. D'où sa dépendance à la prévalence.

« Le rappel se lit dans la ligne des malades et le FPR dans la ligne des sains, donc aucun des deux ne dépend des effectifs relatifs, donc seule la précision, dont le dénominateur mélange les deux lignes, suit la prévalence — donc une précision ne se transporte pas d'une population à une autre. »

Application — même test, deux populations
métriqueformuleprév. 1 %prév. 10 %
rappel (sensibilité)TP/(TP+FN)0,9000,900
FPR (1 − spécificité)FP/(FP+TN)0,0500,050
précision (VPP)TP/(TP+FP)0,1540,667
F12 · préc · rapp / (préc + rapp)0,2630,766
VPNTN/(TN+FN)0,9990,988
accuracy(TP+TN)/N0,9500,945

Les deux premières lignes ne bougent pas d'un chiffre ; les quatre autres bougent. La courbe ROC (TPR contre FPR) est donc insensible à la prévalence, la courbe PR ne l'est pas — c'est pourquoi on préfère la PR en fort déséquilibre (p06-03).

L'accuracy, elle, ment doucement : 0,950 ici, alors que prédire « tout le monde est sain » en ferait 0,990.

Où ça casse casse

Trois façons de se tromper : importer une prévalence, multiplier des LR qui n'en ont pas le droit, lire le conditionnement à l'envers.

« La VPP dépend d'un nombre extérieur au test, donc elle se déplace dès qu'on change de population, donc un chiffre de précision sans sa prévalence ne veut rien dire, donc la première question devant une métrique est : sur quelle population. »

Quatre limites
  • Prévalence importée. Un test étalonné sur des patients symptomatiques (prévalence 30 %, VPP 0,885) déployé en dépistage (1 %) voit sa VPP tomber à 0,154 sans que sensibilité ni spécificité aient bougé. Même piège pour un modèle de fraude : la précision en validation n'est pas la précision en production si le taux de fraude diffère — et il diffère presque toujours.
  • Répéter le même test. Ce n'est pas un second test indépendant : les erreurs sont corrélées, elles ont le même mécanisme (même réactif, même seuil, même patient atypique). Le produit des LR suppose l'indépendance conditionnelle du pas 3 ; sans elle, deux positifs successifs valent beaucoup moins que 18 × 18.
  • Confondre les deux sens. P(preuve | innocent) petit n'implique pas P(innocent | preuve) petit : c'est le sophisme du procureur, et c'est le pas 2 non fait. Exactement la même erreur que « p-value = P(H0) » : une p-value est P(données extrêmes ; H0), jamais l'inverse (p01-02).
  • Conditionner sur le mauvais événement. P(M | +) demande de se restreindre aux positifs, pas aux cas. Réflexe : devant une probabilité conditionnelle, nommer à voix haute la population du dénominateur avant de calculer quoi que ce soit.

Résumé

À retenir
  1. P(A | B) = P(AB)/P(B) : restreindre puis renormaliser. Le numérateur est symétrique, le dénominateur choisit le sens.
  2. Indépendance ⇔ conditionner ne change rien ⇔ P(AB) = P(A)P(B) ⇔ licence de multiplier.
  3. P(+) additionne les deux voies : cas détectés (0,0090) + sains mal classés (0,0495) = 0,0585.
  4. Bayes : P(M | +) = P(+ | M)P(M)/P(+) — posterior ∝ vraisemblance × prior.
  5. En effectifs : 900 vrais positifs contre 4 950 faux à 1 % de prévalence ⇒ VPP 0,154. Le base rate décide.
  6. Cotes : a posteriori = a priori × LR, LR+ = sens/(1 − spéc) = 18. Le test est un multiplicateur, la population le point de départ.
  7. Rappel = sensibilité et FPR = 1 − spécificité ne dépendent pas de la prévalence ; précision = VPP en dépend, donc elle ne se transporte pas.
« Sensibilité et spécificité appartiennent au test ; la probabilité d'être un cas sachant un positif appartient à la population, par Bayes. À 1 % de prévalence, les 99 % de sains produisent plus de faux positifs à 5 % d'erreur que les cas ne produisent de vrais positifs à 90 % de détection : la précision tombe à 15 %. C'est pourquoi une précision ne se transporte pas d'une population à une autre, alors qu'un rappel et un FPR le font. »

Chaîne verbalisée — une prise, à voix haute

5 maillons · clique pour révéler après avoir dit
  1. Que signifie P(A | B), en un geste ?
    Restreindre l'univers à B, puis renormaliser : P(A ∩ B)/P(B). Le numérateur est symétrique, seul le dénominateur donne le sens.
  2. D'où vient P(+) = 0,0585 ?
    Deux voies : 0,90 × 0,01 = 0,0090 (cas détectés) + 0,05 × 0,99 = 0,0495 (sains mal classés). La seconde pèse 5,5 fois la première.
  3. Que vaut P(M | +) et pourquoi si bas ?
    0,0090/0,0585 = 0,154. En effectifs : 4 950 faux positifs contre 900 vrais, puisque les sains sont 99 fois plus nombreux. Le base rate décide.
  4. Refais-le en cotes.
    LR⁺ = 0,90/0,05 = 18 ; cote a priori 1:99 ; a posteriori 18:99 = 18/117 = 0,154. Le test multiplie, la population fixe le départ.
  5. Quelle métrique dépend de la prévalence, laquelle non, et par quel mécanisme ?
    Précision oui (dénominateur TP + FP : deux lignes mélangées, pas un seul TN). Rappel et FPR non : chacun se lit dans une seule ligne. D'où ROC insensible, PR non.