Определение
P-значение - это вероятность получения результатов, по крайней мере столь же экстремальных, как наблюдаемые, при условии, что нулевая гипотеза верна. Простыми словами, оно отвечает на вопрос: "Если бы эффекта действительно не было, насколько удивительными были бы мои данные?"
Как интерпретировать p-значение
Чем меньше p-значение, тем сильнее доказательства против нулевой гипотезы.
Компания тестирует, увеличивает ли новый дизайн сайта количество регистраций. Старый дизайн имел 10% конверсию. Новый дизайн показывает 12% в тесте с 1000 посетителей.
Статистический тест дает p-значение 0.03.
Это означает: если бы новый дизайн не имел реального эффекта, вероятность увидеть такую большую разницу составила бы всего 3%. Поскольку 0.03 меньше 0.05, результат считается статистически значимым.
Почему это важно
P-значения - основа статистического принятия решений в науке, медицине и бизнесе. Они помогают исследователям решить, является ли наблюдаемая закономерность вероятно реальной или просто случайным шумом. Почти каждое опубликованное исследование сообщает p-значения.
Однако p-значения широко неправильно понимаются. P-значение не говорит о том, насколько велик или важен эффект. Крошечное p-значение может быть результатом тривиально малого эффекта, проверенного на огромной выборке. Всегда дополняйте p-значения размером эффекта и доверительными интервалами для полной картины.
P-значение измеряет удивительность результата при нулевой гипотезе. Малые p-значения предполагают, что данные вряд ли объясняются случаем, но не измеряют размер или важность эффекта.