Тенденція, що перевертається
Уявіть, що ви порівнюєте дві лікарні. Лікарня A має вищий рівень виживання, ніж лікарня B, для пацієнтів з операціями на серці. Лікарня A також має вищий рівень виживання для пацієнтів загальної хірургії. Отже, лікарня A повинна бути кращою загалом, правда? Не обов'язково. Коли ви об'єднуєте дані, лікарня B може насправді мати вищий загальний рівень виживання. Це парадокс Сімпсона: тенденція, що з'являється в окремих групах, зникає або перевертається при об'єднанні груп.
Це звучить неможливо, але трапляється постійно в реальних даних. Парадокс виникає через дисбаланс у розподілі випадків між групами. Розуміння цього критично важливе для будь-кого, хто працює з даними або читає дослідження, тому що агреговані числа можуть розповідати абсолютно хибну історію.
Випадок вступу до Берклі
Найвідоміший приклад парадоксу Сімпсона - з Каліфорнійського університету в Берклі. У 1973 році загальні дані про вступ до аспірантури показували, що 44% чоловіків-абітурієнтів були прийняті, порівняно з лише 35% жінок. Це виглядало як чітке свідчення гендерної дискримінації жінок.
Але коли дослідники розглянули кожен факультет окремо, вони виявили щось вражаюче. На більшості факультетів жінок приймали з такою ж або навіть вищою частотою, ніж чоловіків. На рівні факультету не було упередження проти жінок. Тож як могли загальні цифри показувати таку різницю?
Відповідь полягала в тому, що жінки непропорційно подавали документи на найконкурентніші факультети - з низьким рівнем прийому для всіх. Чоловіки частіше подавалися на менш конкурентні факультети з вищим рівнем прийому. Коли всі факультети об'єднали, різниці в тому, куди подавали чоловіки та жінки, створили ілюзію упередження, якого не існувало на рівні факультету.
Як видно з даних по факультетах вище, жінки насправді мали порівнянні або кращі рівні прийому в межах окремих факультетів. Загальна різниця повністю визначалася складом тих, хто куди подавався.
Чому це відбувається: Приховані змінні
Парадокс Сімпсона виникає через приховану змінну, також звану конфаундером, яка змінює склад даних між групами. У прикладі з Берклі прихованою змінною був вибір факультету. Він був пов'язаний і зі статтю (жінки обирали інші факультети), і з результатом (на деякі факультети було важче вступити).
Подумайте про це так: якщо ви змішуєте дані з дуже різних ситуацій, пропорції кожної ситуації в кожній групі можуть домінувати в результатах. Мала група з високим показником та велика група з низьким показником дадуть комбінований показник, що тяжітиме до більшої групи. Якщо дві групи мають різні пропорції «легких» та «складних» випадків, їх комбіновані показники можуть перевернутися.
Компанія має два підрозділи. У підрозділі X нова навчальна програма покращила продуктивність у 80% учасників (40 з 50). У підрозділі Y вона покращила продуктивність у 90% учасників (9 з 10). Загальний рівень покращення - 49 з 60, або приблизно 82%. Тим часом програма іншої компанії покращила 85% у підрозділі X (17 з 20) та 95% у підрозділі Y (38 з 40). Їхній загальний показник - 55 з 60, або приблизно 92%. Друга компанія виглядає краще загалом, але програма першої компанії мала вищий показник в обох підрозділах. Парадокс виникає тому, що перша компанія направила більшість людей через складніший підрозділ.
Парадокс Сімпсона в медицині та бізнесі
У медицині парадокс Сімпсона може вплинути на порівняння лікувань. Дослідження може показати, що Лікування A має кращі результати, ніж Лікування B загалом, але коли розділити пацієнтів за тяжкістю, Лікування B виявляється кращим і для легких, і для тяжких випадків. Це може статися, якщо Лікування B непропорційно часто призначають найтяжчим пацієнтам, що знижує його загальний показник.
У бізнесі ви можете побачити це в конверсіях. Маркетинговий канал може мати нижчу загальну конверсію, але перевершувати в кожному сегменті клієнтів. Різниця виникає тому, що цей канал приводить більше клієнтів зі складних для конвертації сегментів. Прийняття рішень на основі агрегованого показника може призвести до відключення найефективнішого каналу.
Показники відбивання у бейсболі також демонстрували цей парадокс. Гравець може мати вищий показник, ніж інший гравець, у кожному окремому сезоні, але нижчий середній при об'єднанні сезонів, бо кількість спроб у кожному сезоні різко відрізняється.
Як не дати себе обдурити
Ключовий захист від парадоксу Сімпсона - завжди враховувати, чи існують підгрупи, які можуть розповісти іншу історію. Коли ви бачите агреговані дані, запитайте себе: чи є в цих даних значущі категорії? Чи може склад цих категорій відрізнятися між порівнюваними групами?
Це не означає, що ви завжди повинні віддавати перевагу результатам підгруп. Іноді агрегований погляд є правильним. Правильний підхід залежить від вашого конкретного питання та того, що спричиняє різницю. Якщо прихована змінна є конфаундером, який потрібно контролювати, аналіз підгруп більш надійний. Якщо прихована змінна відображає справжній аспект порівняння, агрегат може бути доречним.
За можливості дивіться на дані обома способами. Якщо агрегований та підгруповий аналізи збігаються, ви можете бути впевненіші. Якщо вони розходяться, копайте глибше, перш ніж робити висновки. Парадокс - потужне нагадування про те, що зведення даних може приховувати стільки ж, скільки розкривати.
Парадокс Сімпсона виникає, коли тенденція, що спостерігається в кожній підгрупі, перевертається при об'єднанні груп. Це відбувається через приховану змінну, яка змінює склад даних між групами. Ліки проти - дивитися на дані на кількох рівнях і завжди запитувати, чи можуть приховані підгрупи визначати загальну картину. Агреговані дані можуть розповідати абсолютно іншу історію, ніж детальний погляд.