Najczęściej źle rozumiana liczba w statystyce
Wartość p jest jednym z najważniejszych, ale też najczęściej błędnie interpretowanych pojęć w statystyce. Widzisz ją w badaniach naukowych, artykułach medycznych i raportach biznesowych. Zrozumienie jej to klucz do krytycznego czytania wyników badań.
Co wartość p naprawdę mówi
Wartość p odpowiada na pytanie: "Gdyby hipoteza zerowa była prawdziwa, jakie jest prawdopodobieństwo uzyskania wyników tak ekstremalnych (lub bardziej) jak te, które zaobserwowałem?"
Innymi słowy: jak zaskakujące są moje dane, jeśli zakładam, że nic się nie dzieje?
Testujesz, czy nowa metoda nauczania poprawia wyniki matury. Klasa z nową metodą uzyskała o 6 punktów lepszy wynik niż klasa tradycyjna. Wartość p = 0,03. To oznacza: jeśli nowa metoda NIE działa (H₀ prawdziwa), szansa na zaobserwowanie różnicy 6 punktów lub większej wynosi zaledwie 3%. To dość mała szansa - więc są powody, by wierzyć, że metoda naprawdę działa.
Próg p < 0,05
W wielu dziedzinach używa się progu p < 0,05 jako granicy "istotności statystycznej". Jeśli wartość p jest mniejsza niż 0,05, odrzucamy hipotezę zerową i mówimy, że wynik jest "statystycznie istotny".
Ale ten próg jest umowny! Nie ma w nim nic magicznego. Wartość p = 0,049 jest "istotna", a p = 0,051 "nieistotna" - a różnica między nimi jest minimalna.
Badanie A: nowy lek, p = 0,04. "Statystycznie istotny!" Badanie B: ten sam lek, p = 0,06. "Nieistotny statystycznie." Czy te dwa badania naprawdę mówią coś zupełnie innego? Nie - oba sugerują pewien efekt, ale ani jedno nie jest ostatecznym dowodem.
Czego wartość p NIE mówi
Oto najczęstsze nieporozumienia:
- Wartość p NIE jest prawdopodobieństwem, że hipoteza zerowa jest prawdziwa. p = 0,03 NIE oznacza "jest 3% szans, że lek nie działa". Mówi o danych, nie o hipotezie.
- Wartość p NIE mówi o wielkości efektu. Mały, nieistotny praktycznie efekt może mieć bardzo małą wartość p, jeśli próba jest ogromna.
- Wartość p NIE mówi o ważności wyniku. Statystyczna istotność to nie to samo co praktyczna ważność.
Badanie na 100 000 osobach pokazuje, że picie kawy zmniejsza ryzyko przeziębienia o 0,1% (p < 0,001). Wynik jest wysoce statystycznie istotny (p jest malutkie), ale praktycznie bezwartościowy - 0,1% różnicy nie ma znaczenia w realnym życiu. Duża próba "wykryła" efekt tak mały, że jest nieistotny praktycznie.
Istotność statystyczna vs. praktyczna
To kluczowe rozróżnienie. Zawsze pytaj: "Czy ta różnica ma znaczenie w prawdziwym życiu?"
- Lek obniżający ciśnienie o 0,5 mmHg z p < 0,01 - statystycznie istotny, ale klinicznie bezwartościowy
- Program edukacyjny podnoszący wyniki matury o 15 punktów z p = 0,03 - zarówno statystycznie, jak i praktycznie istotny
Problem wielokrotnego testowania
Jeśli przeprowadzisz 20 testów na tych samych danych z progiem 0,05, statystycznie oczekujesz 1 "istotnego" wyniku czysto przypadkiem. To jest problem wielokrotnego testowania i powód, dla którego niektórych "odkryć" nie da się powtórzyć.
Naukowiec bada 20 różnych produktów spożywczych i ich wpływ na zdrowie. Jeden z nich (powiedzmy marchewka) pokazuje "istotny" efekt z p = 0,04. Media piszą: "Marchewka chroni przed chorobą X!" Ale przy 20 testach jest spora szansa, że przynajmniej jeden da "istotny" wynik czysto przypadkiem.
Wartość p mówi, jak prawdopodobne są Twoje wyniki, jeśli hipoteza zerowa jest prawdziwa. Mała wartość p (zwykle < 0,05) sugeruje, że wyniki nie są przypadkowe. Ale pamiętaj: wartość p nie mówi o wielkości efektu, nie jest prawdopodobieństwem hipotezy, a próg 0,05 jest umowny. Zawsze pytaj o praktyczne znaczenie wyniku, nie tylko o istotność statystyczną.