Bayesi teoreem

Raskusaste: Keskmine Lugemisaeg: 15 minutit

Miks Bayesi teoreem on oluline?

Bayesi teoreem on võimas tööriist, mis aitab meil uuendada oma uskumusi, kui saame uut informatsiooni. See on nimetatud Inglise vaimuliku Thomas Bayesi järgi, kes elas 18. sajandil. Tänapäeval kasutavad seda spam-filtrid, meditsiinidiagnostika, isesõitvad autod ja paljud teised süsteemid.

0.01 +Haigus 0.99 -Haigus 0.95 +Posit. 0.05 -Negat. 0.05 +Posit. 0.95 -Negat.

Probleemipüstitus

Eelmises tunnis nägime, et P(A|B) ei ole sama mis P(B|A). Bayesi teoreem annab meile valemi, kuidas ühest teise jõuda.

Valem

P(A|B) = P(B|A) × P(A) / P(B)

See näitab: sündmuse A tõenäosus pärast B nägemist sõltub sellest, kui hästi B ennustab A-d, kui tõenäoline oli A algusest peale, ja kui sagedane on B üldse.

Näide: meditsiiniline test

Näide

Eestis testitakse haruldast haigust, mida põeb 1 inimene 1000-st (0,1%). Test on 99% täpne:

  • Kui inimene ON haige, näitab test positiivset 99% juhtudest - P(positiivne|haige) = 0,99
  • Kui inimene EI ole haige, näitab test negatiivset 99% juhtudest - aga 1% saab valepositiivse

Sa saad positiivse tulemuse. Mis on tõenäosus, et sa tegelikult OLED haige?

Intuitiivselt võiks arvata 99%, aga vaatame:

P(haige|positiivne) = P(positiivne|haige) × P(haige) / P(positiivne)

P(positiivne) = P(positiivne|haige)×P(haige) + P(positiivne|terve)×P(terve)

P(positiivne) = 0,99 × 0,001 + 0,01 × 0,999 = 0,00099 + 0,00999 = 0,01098

P(haige|positiivne) = 0,00099 / 0,01098 ≈ 0,09 ehk umbes 9%

Ainult 9% tõenäosus! Kuigi test on 99% täpne, on positiivse tulemuse saanud inimestest ainult iga kümnes tegelikult haige. Põhjus: haigus on nii haruldane, et valepositiivseid on palju rohkem kui tõelisi positiivseid.

Miks see üllatav tulemus?

Kujuta ette 10 000 inimest:

  • 10 on haiged (0,1%)
  • 9 990 on terved
  • Haigetest saab positiivse: 10 × 0,99 ≈ 10 inimest
  • Tervetest saab valepositiivse: 9 990 × 0,01 ≈ 100 inimest
  • Kokku positiivseid: 10 + 100 = 110
  • Neist tegelikult haigeid: 10/110 ≈ 9%

Eeltõenäosus ja järeltõenäosus

Bayesi teoreemis on kaks olulist mõistet:

1 Enne 16 Pärast
  • Eeltõenäosus (prior): sinu uskumus ENNE uue info saamist. Meie näites: P(haige) = 0,1%.
  • Järeltõenäosus (posterior): sinu uuendatud uskumus PÄRAST uut infot. Meie näites: P(haige|positiivne) = 9%.

Bayesi teoreem on viis liikuda eeltõenäosusest järeltõenäosuseni.

Näide

Wise'i pettuste tuvastamise süsteem:

  • Eeltõenäosus, et ülekanne on pettus: 0,5% (P(pettus) = 0,005)
  • Süsteem märgistab 95% tegelikest pettustest (P(märgis|pettus) = 0,95)
  • Süsteem märgistab ekslikult 3% seaduslikest ülekannetest (P(märgis|aus) = 0,03)

Kui ülekanne on märgistatud, mis on tõenäosus, et see on tõesti pettus?

P(pettus|märgis) = (0,95 × 0,005) / (0,95 × 0,005 + 0,03 × 0,995)

= 0,00475 / (0,00475 + 0,02985) = 0,00475 / 0,03460 ≈ 0,137 ehk 13,7%

Isegi märgistatud ülekannetest on vaid 13,7% tegelikud pettused. Seepärast vajavad need inimlikku ülevaatamist.

Bayesi teoreem igapäevaelus

Sa kasutad Bayesi mõtlemist pidevalt, isegi kui sa seda nii ei nimeta:

  • Arst: Alustab eeltõenäosusega (sümptomite põhjal) ja uuendab diagnoosi iga testi tulemusega.
  • E-post: Gmail alustab eeltõenäosusega, et kiri on spam, ja uuendab seda iga sõna põhjal kirjas.
  • Ilmaennustus: Algne ennustus uueneb, kui saabuvad uued satelliidiandmed.
Peатükk

Bayesi teoreem näitab, kuidas uuendada tõenäosust uue tõendusmaterjali valguses. See ühendab eeltõenäosuse (mida sa enne teadsid) tõendusmaterjaliga (mida sa just õppisid) ja annab järeltõenäosuse (sinu uuendatud uskumuse). Kõige olulisem õpetus: haruldaste sündmuste puhul võivad isegi head testid anda palju valepositiivseid tulemusi.