Mis on p-väärtus?
P-väärtus on number, mis vastab küsimusele: "Kui nullhüpotees oleks tõsi, siis kui tõenäoline oleks saada selliseid või veel äärmsemaid andmeid?" Mida väiksem on p-väärtus, seda rohkem räägivad andmed nullhüpoteesi vastu.
Mõtle sellest nii: kui nullhüpotees ütleb "muutust ei ole" ja sa leiad p-väärtuse 0,02, siis on ainult 2% tõenäosus saada selliseid andmeid JUHUSE tõttu. See on üsna usutav - seega on mõjuv põhjus arvata, et muutus on tõeline.
Kuidas p-väärtust tõlgendada
- p < 0,05: Statistiliselt oluline (tavalisel tasemel). Andmed räägivad nullhüpoteesi vastu.
- p < 0,01: Väga tugev tõendus nullhüpoteesi vastu.
- p < 0,001: Äärmisel tugev tõendus.
- p > 0,05: Pole piisavalt tõendusi nullhüpoteesi tagasilükkamiseks. (See EI tähenda, et nullhüpotees on õige!)
Tartu Ülikool testib uut õppeplatvormi. Vana platvormi keskmine eksamitulemus oli 65 punkti. Uuega on 200 õpilase keskmine 68 punkti.
H₀: uus platvorm ei muuda tulemusi (keskmine = 65)
H₁: uus platvorm parandab tulemusi (keskmine > 65)
P-väärtus: 0,03
Kuna 0,03 < 0,05, lükkavad uurijad nullhüpoteesi tagasi. Järeldus: uus platvorm näitab statistiliselt olulist paranemist.
Mida p-väärtus EI tähenda
P-väärtuse kohta on palju väärarvamusi. Siin on kõige olulisemad:
1. P-väärtus EI ole tõenäosus, et nullhüpotees on õige
P = 0,03 EI tähenda "3% tõenäosus, et muutust pole". See tähendab "3% tõenäosus sellised andmed saada, KUI muutust poleks". Need on kaks väga erinevat asja.
2. P-väärtus EI ütle mõju suuruse kohta
Väike p-väärtus tähendab, et mõju on statistiliselt oluline, aga mitte tingimata suur või praktiline. Väga suure valimiga võib leida statistiliselt olulise, aga tühise erinevuse.
Uuring 100 000 Bolt sõidu põhjal leiab, et punase auto sõitjad jõuavad kohale 0,1 minutit kiiremini kui valge auto sõitjad. P-väärtus: 0,001 (väga oluline!). Aga 0,1 minutit (6 sekundit) ei ole praktiliselt tähtis.
3. P > 0,05 ei tähenda "mõju puudub"
See tähendab ainult "meil pole piisavalt tõendeid mõju jaoks". Võib-olla valim oli liiga väike mõju tuvastamiseks.
Miks just 0,05?
Künnis 0,05 (5%) on ajalooline kokkulepe, mille pakkus välja Ronald Fisher 1920-ndatel. See EI ole looduseadus. Mõned valdkonnad kasutavad rangemaid künniseid:
- Meditsiin: tihti 0,01 või 0,001
- Osakestefüüsika: 5-sigma ehk umbes 0,0000003
- Turundus: mõnikord 0,10
P-väärtuse manipuleerimine
"P-hacking" on probleem, kus uurijad katsetavad paljude analüüsidega, kuni leiavad p < 0,05. Kui testid 20 erinevat seost, on statistiliselt tõenäoline, et üks annab p < 0,05 puhta juhuse tõttu (1/20 = 5%).
Uurija testib, kas Tallinna ilm mõjutab Bolt sõitude arvu. Ta testib seoseid temperatuuri, niiskuse, tuulekiiruse, pilvisuse, päevapikkuse, kuufaasi, nädalapäeva, kuu, hooaja, ja pühade vahel. 20 testist 1 annab p = 0,04. Uurija raporteerib ainult selle "olulise" tulemuse - see on p-hacking.
Õige lähenemine p-väärtusele
- Vaata alati ka mõju suurust (kui suur on erinevus?)
- Vaata usaldusintervalli (kus tõenäoline väärtus asub?)
- Küsi, kas uuring on korratav (kas teised on saanud sarnaseid tulemusi?)
- Ära kohtle 0,05 kui maagist piiri - p = 0,049 ja p = 0,051 on sisuliselt sama
P-väärtus näitab, kui tõenäolised oleksid sinu andmed, kui nullhüpotees kehtiks. Mida väiksem p, seda tugevamad tõendid nullhüpoteesi vastu. Aga p-väärtus ei ütle mõju suurust, ei anna tõenäosust hüpoteesi õigsusele ja 0,05 künnis on kokkulepe, mitte looduseadus. Vaata alati ka mõju suurust ja usaldusintervalli.