Самое непонятое число в статистике
Если вы когда-нибудь читали научную статью или новость о медицинских исследованиях, то наверняка встречали фразы вроде «p < 0,05» или «результат статистически значим». За этими словами скрывается одно-единственное число — p-значение. Это один из самых широко используемых и при этом самых неправильно понимаемых показателей во всей статистике.
Давайте разберёмся в нём простым языком, на живых примерах.
Начнём с вопроса
Представьте, что ваш друг утверждает, будто умеет угадывать результат подбрасывания монеты. Вы сомневаетесь. Вы решаете проверить: подбрасываете монету 20 раз и просите его каждый раз назвать сторону. Если он просто гадает, он должен угадать примерно 10 из 20 — около 50%.
Он угадывает 14 из 20. Это впечатляет или вполне может произойти случайно?
Именно на такие вопросы отвечает p-значение.
Что такое p-значение на самом деле
P-значение отвечает на конкретный вопрос: если на самом деле ничего особенного не происходит, какова вероятность получить результаты настолько же необычные (или ещё более необычные), как наши?
В примере с монетой: если у друга нет никаких способностей (нулевая гипотеза), какова вероятность случайно угадать 14 или более раз из 20?
Ответ — примерно 0,058, то есть около 6%. Это и есть p-значение.
Ваш друг угадал 14 из 20 подбрасываний монеты.
Нулевая гипотеза: он просто гадает (50% каждый раз).
P-значение: около 0,058 — это значит, что примерно в 6% случаев можно угадать 14 и более раз чисто по случайности.
Достаточно ли 6% — это мало? Зависит от вашего порога. При общепринятом уровне 5% вы скажете: «доказательств пока недостаточно». Если бы он угадал 15 (p ≈ 0,02), это было бы убедительнее.
Порог 0,05
В большинстве научных областей p-значение ниже 0,05 (5%) считается «статистически значимым». Это означает, что подобные результаты возникали бы чисто случайно менее чем в 5% случаев — достаточно редко, чтобы отнестись к ним серьёзно.
Почему именно 0,05? Если честно, этот порог довольно условный. Его предложил статистик Рональд Фишер в 1920-х годах как удобный ориентир. Он прижился и теперь используется почти повсеместно. В некоторых областях пороги строже: в физике элементарных частиц для подтверждения открытия требуется уровень 0,0000003 (примерно 1 шанс из 3,5 миллионов).
Главный принцип: чем меньше p-значение, тем сильнее свидетельство против нулевой гипотезы. P-значение 0,001 гораздо убедительнее, чем 0,04.
Чего p-значение НЕ означает
Именно здесь кроется большинство заблуждений. Вот самые частые ошибки:
Ошибка 1: «P-значение — это вероятность того, что нулевая гипотеза верна»
Нет. P-значение 0,03 не означает, что вероятность «ничего не происходит» равна 3%. P-значение предполагает, что нулевая гипотеза верна, и спрашивает: насколько удивительны полученные данные? Оно не говорит о вероятности истинности той или иной гипотезы.
Ошибка 2: «Маленькое p-значение означает большой и важный эффект»
Нет. Можно получить крошечное p-значение для очень маленького, практически бессмысленного эффекта — особенно при большой выборке. Если вы опросите миллион человек, даже незначительная разница между группами может дать p-значение 0,0001. Эффект реален, но слишком мал, чтобы иметь практическое значение.
Ошибка 3: «P-значение выше 0,05 означает, что эффекта нет»
Нет. Это означает, что вы не нашли достаточно убедительных доказательств наличия эффекта. Это не то же самое, что доказать его отсутствие. Возможно, данных было недостаточно. Возможно, эффект реален, но мал. Отсутствие доказательств — это не доказательство отсутствия.
P-значение простыми словами
Представьте p-значение как «шкалу удивления». Вы начинаете с предположения, что скучное объяснение верно (ничего особенного не происходит). Затем смотрите на данные и спрашиваете: насколько я должен удивиться?
- P-значение около 1,0: Вообще не удивляет. Данные полностью соответствуют скучному объяснению.
- P-значение около 0,5: Ничего примечательного. Такое легко происходит случайно.
- P-значение около 0,05: Становится интересно. Такое бывает примерно 1 раз из 20 по чистой случайности.
- P-значение около 0,001: Очень удивительно. Примерно 1 раз из 1000 по случайности. Сильное свидетельство того, что происходит что-то реальное.
Почему порог 0,05 создаёт проблемы
Жёсткая граница на уровне 0,05 приводит к странным ситуациям. Исследование с p = 0,049 публикуется как «значимый результат». Исследование с p = 0,051 воспринимается так, словно ничего не было найдено. Но эти два результата практически идентичны — крошечная разница может зависеть от одного дополнительного участника.
Многие статистики сейчас выступают за то, чтобы перестать воспринимать 0,05 как магическую границу. Вместо этого они предлагают указывать фактическое p-значение и позволять читателям самим оценивать силу доказательств.
Два исследователя изучают, снижает ли определённая программа упражнений артериальное давление.
Исследователь А находит p = 0,048 и пишет: «Упражнения значимо снизили давление».
Исследователь Б находит p = 0,052 и пишет: «Упражнения не оказали значимого эффекта на давление».
Их результаты практически одинаковы! Но поскольку один перешёл черту 0,05, а другой нет, выводы звучат совершенно по-разному. Именно поэтому так важно смотреть на реальные цифры, а не только на «значимо или нет».
P-значения в реальной жизни
P-значения встречаются в медицинских исследованиях, бизнес-экспериментах, социологии и газетных заголовках. Когда вы их видите, задайте себе вопросы:
- Насколько мало p-значение? (Меньше = сильнее доказательства)
- Насколько велик фактический эффект? (Реальный, но крошечный эффект может не иметь значения)
- Насколько велика выборка? (Огромные выборки делают даже мельчайшие эффекты «значимыми»)
- Хорошо ли спланировано исследование? (P-значение из плохо спланированного исследования мало что значит)
P-значение показывает, насколько удивительными были бы ваши данные, если бы ничего особенного не происходило. Малое p-значение (обычно ниже 0,05) говорит о том, что данные вряд ли возникли чисто случайно. Но p-значение — это НЕ вероятность истинности гипотезы, а «значимый» результат не означает автоматически, что находка важна или существенна. Всегда оценивайте размер эффекта и качество исследования наряду с p-значением.