Определение
Статистическая значимость указывает на то, что наблюдаемый результат вряд ли произошел только по воле случая. Результат считается статистически значимым, когда его p-значение падает ниже заранее установленного порога (уровня значимости, обычно 0.05).
Как она определяется
Вы устанавливаете уровень значимости до исследования, проводите статистический тест и сравниваете p-значение с вашим порогом.
Фармацевтическая компания тестирует новую таблетку от головной боли против плацебо.
Пациенты, принимающие таблетку, сообщают об облегчении боли в среднем на 15 минут раньше.
Статистический тест дает p-значение 0.002.
Поскольку 0.002 < 0.05, результат статистически значим - разница вряд ли случайна.
Но являются ли 15 минут клинически значимыми? Это отдельный вопрос о практической значимости.
Почему это важно
Статистическая значимость - стандарт для определения реальности результатов исследований. Журналы, регуляторы и бизнес используют ее для отделения сигнала от шума. Без нее не было бы систематического способа отличить подлинные эффекты от случайной вариации.
Однако у статистической значимости есть ограничения. Она не измеряет размер эффекта, практическую важность или клиническую значимость. Огромное исследование может сделать тривиально малый эффект значимым. Всегда сообщайте размеры эффекта и доверительные интервалы наряду со значимостью для полной картины.
Статистическая значимость говорит, что результат вероятно не случаен. Она не говорит, что результат важен. Всегда учитывайте также практическую значимость.