Definicja
Istotność statystyczna wskazuje, że zaobserwowany wynik prawdopodobnie nie wystąpił wyłącznie przypadkowo. Wynik uznaje się za statystycznie istotny, gdy jego wartość p spada poniżej z góry określonego progu (poziomu istotności, zwykle 0,05).
Jak jest określana
Ustawiasz poziom istotności przed badaniem, przeprowadzasz test statystyczny i porównujesz wartość p z progiem.
Firma farmaceutyczna testuje nową tabletkę na ból głowy przeciwko placebo.
Pacjenci przyjmujący tabletkę raportują ulgę w bólu średnio 15 minut szybciej.
Test statystyczny daje wartość p = 0,002.
Ponieważ 0,002 < 0,05, wynik jest statystycznie istotny - różnica prawdopodobnie nie wynika z przypadku.
Ale czy 15 minut jest klinicznie znaczące? To odrębne pytanie o istotność praktyczną.
Dlaczego to ważne
Istotność statystyczna jest standardem decydowania, czy wyniki badań są prawdziwe. Czasopisma, regulatorzy i firmy używają jej do oddzielania sygnału od szumu. Bez niej nie mielibyśmy systematycznego sposobu na odróżnienie prawdziwych efektów od losowej zmienności.
Jednak istotność statystyczna ma ograniczenia. Nie mierzy wielkości efektu, praktycznego znaczenia ani znaczenia klinicznego. Ogromne badanie może sprawić, że trywialnie mały efekt osiągnie istotność. Zawsze raportuj wielkości efektów i przedziały ufności obok istotności, aby dać pełny obraz wyników.
Istotność statystyczna mówi, że wynik prawdopodobnie nie wynika z przypadku. Nie mówi, że wynik jest ważny. Zawsze rozważaj też istotność praktyczną.