Визначення
Помилка 1-го роду (також звана хибнопозитивним результатом або помилкою альфа) виникає, коли ви вiдхиляєте нульову гiпотезу, яка насправдi iстинна. Ви робите висновок про наявнiсть ефекту або рiзницi, коли їх насправдi не iснує.
Як це вiдбувається
Навiть при якiсних даних та правильних процедурах випадковiсть може дати результати, якi виглядають значущими. Рiвень значущостi (альфа) - це максимальна ймовiрнiсть зробити цю помилку, яку ви готовi прийняти.
Харчова компанiя тестує, чи новий рецепт смакує краще за оригiнальний.
Насправдi клiєнти не мають переваг. Але випадково тестова вибiрка трохи надає перевагу новому рецепту, даючи p = 0,04.
Компанiя робить висновок, що новий рецепт кращий, i запускає його. Це помилка 1-го роду - вони "знайшли" рiзницю, якої насправдi не iснує.
Чому це важливо
Помилки 1-го роду призводять до хибних вiдкриттiв, марних ресурсiв та неправильних рiшень. У медицинi помилка 1-го роду може означати схвалення препарату, який насправдi не працює. У бiзнесi це може означати iнвестування в стратегiю на основi випадкового результату.
Рiвень значущостi 0,05 означає, що ви приймаєте 5% шанс помилки 1-го роду для кожного тесту. Коли проводиться багато тестiв, цi шанси накопичуються. Якщо ви тестуєте 20 речей, очiкуйте приблизно один хибнопозитивний результат, навiть якщо нiчого реального немає. Ось чому iснують корекцiї для множинних порiвнянь (наприклад, Бонферронi).
Помилка 1-го роду означає виявлення ефекту, якого немає. Рiвень значущостi контролює цей ризик, але множинне тестування може його збiльшити. Завжди розглядайте реплiкацiю.