Определение
Ошибка 1 рода (также называемая ложноположительным результатом или ошибкой альфа) происходит, когда вы отвергаете нулевую гипотезу, которая на самом деле верна. Вы заключаете о наличии эффекта или различия, когда его в действительности не существует.
Как это происходит
Даже при хороших данных и правильных процедурах случайность может произвести результаты, которые выглядят значимыми. Уровень значимости (альфа) - это максимальная вероятность совершения этой ошибки, которую вы готовы принять.
Пищевая компания тестирует, вкуснее ли новый рецепт старого.
В реальности у клиентов нет предпочтения. Но случайно тестовая выборка слегка предпочитает новый рецепт, давая p = 0.04.
Компания заключает, что новый рецепт лучше, и запускает его. Это ошибка 1 рода - они "нашли" различие, которого в действительности не существует.
Почему это важно
Ошибки 1 рода приводят к ложным открытиям, потраченным ресурсам и неверным решениям. В медицине ошибка 1 рода может означать одобрение лекарства, которое на самом деле не работает. В бизнесе - инвестирование в стратегию на основе случайного результата.
Уровень значимости 0.05 означает, что вы принимаете 5% вероятность ошибки 1 рода при каждом тесте. При проведении многих тестов эти вероятности накапливаются. Если вы тестируете 20 вещей, ожидайте примерно один ложноположительный результат, даже если ничего реального нет. Поэтому существуют поправки на множественные сравнения (такие как Бонферрони).
Ошибка 1 рода означает обнаружение эффекта, которого нет. Уровень значимости контролирует этот риск, но множественное тестирование может его раздуть. Всегда думайте о воспроизводимости.