Trend, mis pöördub
Kujutage ette, et võrdlete kahte haiglat. Haigla A-l on südameoperatsiooni patsientide puhul kõrgem elulemusmäär kui Haigla B-l. Haigla A-l on ka üldkirurgia patsientide puhul kõrgem elulemusmäär. Seega peab Haigla A olema üldiselt parem, eks? Mitte tingimata. Andmete ühendamisel võib Haigla B-l tegelikult olla kõrgem üldine elulemusmäär. See on Simpsoni paradoks: trend, mis esineb eraldi gruppides, pöördub ümber või kaob, kui grupid ühendatakse.
See kõlab võimatult, kuid juhtub tegelikes andmetes pidevalt. Paradoks tekib tasakaalutusest juhtumite jaotumises gruppide vahel. Selle mõistmine on kriitilise tähtsusega kõigile, kes andmetega töötavad või uuringuid loevad, sest koondnumbrid võivad rääkida täiesti eksitava loo.
Berkeley vastuvõtujuhtum
Simpsoni paradoksi kuulsaim näide pärineb California Ülikoolist Berkeley'st. 1973. aastal näitasid üldised magistriõppe vastuvõtuandmed, et 44% meessoost kandidaatidest võeti vastu, samas kui naissoost kandidaatidest ainult 35%. See nägi välja nagu selge tõend soolisest diskrimineerimisest naiste vastu.
Kuid kui teadlased uurisid iga osakonda eraldi, leidsid nad midagi hämmastuvat. Enamikus osakondades võeti naisi vastu võrdsel või isegi kõrgemal määral kui mehi. Osakonna tasemel polnud naiste vastu kallutatust. Kuidas said siis üldised numbrid näidata sellist lõhet?
Vastus oli selles, et naised kandideerisid ebaproportsionaalselt kõige konkurentsitihedamatesse osakondadesse -- nendesse, kus vastuvõtumäär oli kõigi jaoks madal. Mehed kaldusid kandideerima vähem konkurentsitihedatesse osakondadesse, kus vastuvõtumäär oli kõrgem. Kõigi osakondade ühendamisel lõid erinevused selles, kuhu mehed ja naised kandideerisid, illusiooni kallutatusest, mida osakonna tasemel ei eksisteerinud.
Nagu ülaltoodud osakonna tasemel andmetest näha, oli naistel tegelikult üksikutes osakondades võrreldav või parem vastuvõtumäär. Üldine lõhe oli täielikult tingitud sellest, kes kuhu kandideeris.
Miks see juhtub: varjatud muutujad
Simpsoni paradoks tekib varjatud muutuja, mida nimetatakse ka segavaks muutujaks, tõttu, mis muudab andmete koostist gruppide vahel. Berkeley näites oli varjatud muutuja osakonna valik. See oli seotud nii soo (naised valisid erinevaid osakondi) kui ka tulemusega (mõnda osakonda oli raskem pääseda).
Mõelge sellele nii: kui segage kokku andmed väga erinevatest olukordadest, võivad iga olukorra proportsioonid igas grupis tulemusi domineerida. Väike grupp kõrge määraga ja suur grupp madala määraga annavad kombineeritud määra, mida tõmbab suurem grupp. Kui kahel grupil on erinevad "kergete" ja "raskete" juhtumite proportsioonid, võivad nende kombineeritud määrad pöörduda.
Ettevõttel on kaks osakonda. Osakonnas X parandas uus koolitusprogramm tulemusi 80% osalejatest (40-l 50-st). Osakonnas Y parandas see tulemusi 90% osalejatest (9-l 10-st). Üldine paranemismäär on 49-st 60-st, ehk umbes 82%. Samal ajal paranda teise ettevõtte programm 85% Osakonnas X (17-l 20-st) ja 95% Osakonnas Y (38-l 40-st). Nende üldine määr on 55-st 60-st, ehk umbes 92%. Teine ettevõte näib üldiselt parem, kuid esimese ettevõtte programmil oli mõlemas osakonnas kõrgem määr. Paradoks tekib sellest, et esimene ettevõte suunas enamiku inimesi raskemasse osakonda.
Simpsoni paradoks meditsiinis ja äris
Meditsiinis võib Simpsoni paradoks mõjutada ravivõrdlusi. Uuring võib näidata, et Ravil A on üldiselt paremad tulemused kui Ravil B, kuid patsiendide eraldamisel raskusastme järgi on Ravi B tegelikult parem nii kergete kui ka raskete juhtumite puhul. See võib juhtuda, kui Ravi B anti ebaproportsionaalselt kõige raskematele patsientidele, tõmmates selle üldist keskmist alla.
Äris võite seda näha konversioonimäärades. Turunduskanalil võib olla madalam üldine konversioonimäär, kuid see ületab teisi igas kliendisegmendis. Erinevus tuleneb sellest, et see kanal toob rohkem kliente raskesti konverteeritavatest segmentidest. Koondnumbrile tuginedes otsuse tegemine võib viia teie parima kanali lõikamiseni.
Ka pesapalli löögikeskmised on paradoksi kuulsalt demonstreerinud. Mängija võib igal üksikul aastal omada kõrgemat löögikeskmist kui teine mängija, kuid madalamat keskmist aastate ühendamisel, sest löökide arv igal aastal erines dramaatiliselt.
Kuidas mitte lasta end petta
Peamine kaitse Simpsoni paradoksi vastu on alati kaaluda, kas eksisteerivad alarühmad, mis võiksid rääkida teistsuguse loo. Kui näete koondandmeid, küsige endalt: kas nendes andmetes on olulisi kategooriaid? Kas nende kategooriate proportsioonid võiksid võrreldavate gruppide vahel erineda?
See ei tähenda, et peaksite alati eelistama alarühma tulemusi. Mõnikord on koondvaade õige. Korrektne lähenemine sõltub teie konkreetsest küsimusest ja sellest, mis erinevust põhjustab. Kui varjatud muutuja on segav tegur, mida peate kontrollima, on alarühma analüüs usaldusväärsem. Kui varjatud muutuja peegeldab võrdluse tegelikku aspekti, võib koondvaade olla asjakohane.
Kui vähegi võimalik, vaadake andmeid mõlemal viisil. Kui koond- ja alarühma analüüsid ühtivad, saate olla kindlam. Kui need ei ühti, uurige sügavamalt enne järelduste tegemist. Paradoks on võimas meeldetuletus, et andmete kokkuvõtted võivad varjata sama palju, kui nad paljastavad.
Simpsoni paradoks tekib, kui trend, mis kehtib igas alarühmas, pöördub gruppide ühendamisel ümber. See juhtub seetõttu, et varjatud muutuja muudab andmete koostist gruppide lõikes. Vastumürk on vaadata andmeid mitmel tasemel ja alati küsida, kas peidetud alarühmad võiksid üldist mustrit juhtida. Koondandmed võivad rääkida üksikasjalikust vaatest täiesti erineva loo.