Test diagnostici

Un’applicazione importantissima della probabilità condizionata sono i test diagnostici (medici, antidoping, di qualità). Un test non è mai perfetto: può dare falsi positivi o falsi negativi. Da qui nascono tre quantità chiave — sensibilità, specificità e precisione — e il celebre “paradosso dei test rari”, in cui un test apparentemente ottimo diventa poco affidabile su una malattia poco diffusa. Il teorema di Bayes è lo strumento che permette di calcolare ciò che davvero interessa al paziente.

• Sensibilità, specificità, precisione
• Esempio — Test epidemiologico

A hugely important application of conditional probability are diagnostic tests (medical, anti-doping, quality). A test is never perfect: it can give false positives or false negatives. From here arise three key quantities — sensitivity, specificity and precision — and the celebrated “paradox of rare tests”, in which an apparently excellent test becomes unreliable for a rarely occurring illness. Bayes’ theorem is the tool that lets us calculate what really interests the patient.

• Sensitivity, specificity, precision
• Example — Epidemiological test

Un’applicazione importantissima della probabilità condizionata sono i test diagnostici (medici, antidoping, di qualità, ecc.). Un test non è mai perfetto: può dare falsi positivi (allarme senza malattia) o falsi negativi (malattia non rilevata).

Definiamo:

• $A$ = “il soggetto è effettivamente malato”;
• $B$ = “il test dà esito positivo”.

Le quattro combinazioni possibili sono:

A partire da questa tabella si definiscono tre quantità importanti.

Definizione

• Sensibilità (o recall) $= \dfrac{TP}{TP+FN} = P(B\mid A)$: probabilità di essere positivo al test sapendo di essere malato. Un test sensibile “non si fa scappare” i malati.
• Specificità $= \dfrac{TN}{TN+FP} = P(\overline{B}\mid \overline{A})$: probabilità di essere negativo al test sapendo di essere sano. Un test specifico “non dà falsi allarmi”.
• Precisione (o valore predittivo positivo) $= \dfrac{TP}{TP+FP} = P(A\mid B)$: se il test è positivo, qual è la probabilità di essere davvero malato? È la quantità più utile per il paziente, e la domanda a cui risponde il teorema di Bayes.

Attenzione — Paradosso dei test rari

Un test con alta sensibilità e alta specificità può comunque avere bassa precisione se la malattia è rara. Questo è il famoso “paradosso dei test rari”: se solo $1$ persona su $10\,000$ è malata, anche un test al $99\%$ di sensibilità e $99\%$ di specificità produce un numero di falsi positivi paragonabile al numero di veri positivi, e $P(A\mid B)$ risulta molto più bassa di quanto ci si aspetterebbe. È lo stesso meccanismo dei test su malattie a bassa prevalenza: con una malattia allo $0{,}1\%$, sensibilità $99\%$ e specificità $98\%$, la precisione era solo del $4{,}7\%$.

Collegamenti

Argomenti: Probabilita
Concetti: Precisione · Probabilita condizionata · Sensibilita · Specificita · Teorema di bayes
Competenze: Calcolo probabilita

A hugely important application of conditional probability are diagnostic tests (medical, anti-doping, quality, etc.). A test is never perfect: it can give false positives (an alarm without illness) or false negatives (an illness not detected).

Let us define:

• $A$ = “the subject is actually ill”;
• $B$ = “the test gives a positive result”.

The four possible combinations are:

From this table three important quantities are defined.

Definition

• Sensitivity (or recall) $= \dfrac{TP}{TP+FN} = P(B\mid A)$: the probability of testing positive given that one is ill. A sensitive test “does not let the ill slip through”.
• Specificity $= \dfrac{TN}{TN+FP} = P(\overline{B}\mid \overline{A})$: the probability of testing negative given that one is healthy. A specific test “does not raise false alarms”.
• Precision (or positive predictive value) $= \dfrac{TP}{TP+FP} = P(A\mid B)$: if the test is positive, what is the probability of actually being ill? It is the most useful quantity for the patient, and the question that Bayes’ theorem answers.

Caution — The paradox of rare tests

A test with high sensitivity and high specificity can nonetheless have low precision if the illness is rare. This is the famous “paradox of rare tests”: if only $1$ person in $10\,000$ is ill, even a test with $99\%$ sensitivity and $99\%$ specificity produces a number of false positives comparable to the number of true positives, and $P(A\mid B)$ turns out to be much lower than one would expect. It is the same mechanism as tests for low-prevalence illnesses: with an illness at $0{,}1\%$, sensitivity $99\%$ and specificity $98\%$, the precision was only $4{,}7\%$.

Links

Topics: Probability
Concepts: Precision · Conditional probability · Sensitivity · Specificity · Bayes’ theorem
Skills: Probability calculation

Esempio — Test epidemiologico

Un test per una malattia rara ha $P(A) = 0,003$ (la malattia colpisce $3$ persone su $1000$), $P(A\mid B) = 0,7$ (precisione) e $P(A\mid \overline{B}) = 0,0001$. Riempiamo la tabella di contingenza usando $10\,000$ persone come popolazione di riferimento.

Da qui si leggono direttamente le tre quantità caratteristiche del test:

• Sensibilità $= P(B\mid A) = \dfrac{21}{30} = 70\%$
• Specificità $= P(\overline{B}\mid\overline{A}) = \dfrac{9961}{9970} \approx 99,9\%$
• Precisione $= P(A\mid B) = \dfrac{21}{30} = 70\%$

Un test usato bene: pochi falsi positivi e una specificità molto alta.

Collegamenti

Argomenti: Probabilita
Concetti: Precisione · Sensibilita · Specificita · Tabella di contingenza
Metodi: Bayes · Prob totale
Competenze: Calcolo probabilita

Example — Epidemiological test

A test for a rare illness has $P(A) = 0,003$ (the illness strikes $3$ people in $1000$), $P(A\mid B) = 0,7$ (precision) and $P(A\mid \overline{B}) = 0,0001$. Let us fill in the contingency table using $10\,000$ people as the reference population.

From here the three characteristic quantities of the test can be read directly:

• Sensitivity $= P(B\mid A) = \dfrac{21}{30} = 70\%$
• Specificity $= P(\overline{B}\mid\overline{A}) = \dfrac{9961}{9970} \approx 99,9\%$
• Precision $= P(A\mid B) = \dfrac{21}{30} = 70\%$

A well-used test: few false positives and a very high specificity.

Links

Topics: Probability
Concepts: Precision · Sensitivity · Specificity · Contingency table
Methods: Bayes · Total probability
Skills: Probability calculation