Tersine Dönen Bir Eğilim
İki hastaneyi karşılaştırdığınızı düşünün. Hastane A, kalp ameliyatı hastaları için Hastane B'den daha yüksek hayatta kalma oranına sahiptir. Hastane A ayrıca genel cerrahi hastaları için de daha yüksek hayatta kalma oranına sahiptir. O zaman Hastane A genel olarak daha iyi olmalı, değil mi? Mutlaka değil. Verileri birleştirdiğinizde, Hastane B aslında daha yüksek genel hayatta kalma oranına sahip olabilir. Bu Simpson Paradoksu'dur: ayrı gruplarda görünen bir eğilim, gruplar birleştirildiğinde tersine döner veya kaybolur.
İmkânsız gibi görünür, ancak gerçek verilerde sürekli olur. Paradoks, vakaların gruplar arasında dağılımındaki dengesizlikten kaynaklanır. Bunu anlamak, verilerle çalışan veya araştırma okuyan herkes için kritiktir, çünkü toplu sayılar tamamen yanıltıcı bir hikâye anlatabilir.
Berkeley Kabul Vakası
Simpson Paradoksu'nun en ünlü örneği Kaliforniya Üniversitesi, Berkeley'den gelir. 1973'te genel lisansüstü kabul verileri, erkek başvuranların %44'ünün kabul edildiğini, kadın başvuranların ise yalnızca %35'inin kabul edildiğini gösterdi. Bu, kadınlara yönelik cinsiyet ayrımcılığının açık kanıtı gibi görünüyordu.
Ancak araştırmacılar her bölümü ayrı ayrı incelediğinde şaşırtıcı bir şey buldular. Çoğu bölümde kadınlar, erkeklere eşit veya daha yüksek oranlarda kabul ediliyordu. Bölüm düzeyinde kadınlara karşı yanlılık yoktu. Peki genel sayılar nasıl böyle bir açık gösterebiliyordu?
Cevap, kadınların orantısız biçimde en rekabetçi bölümlere -- herkes için düşük kabul oranlarına sahip olanlara -- başvurmasıydı. Erkekler daha yüksek kabul oranlarına sahip daha az rekabetçi bölümlere başvurma eğilimindeydi. Tüm bölümler birleştirildiğinde, erkeklerin ve kadınların nereye başvurduğundaki farklılıklar, bölüm düzeyinde var olmayan bir yanlılık yanılsaması yarattı.
Yukarıdaki bölüm düzeyindeki verilerde görebileceğiniz gibi, kadınlar aslında bireysel bölümlerde karşılaştırılabilir veya daha iyi kabul oranlarına sahipti. Genel açık tamamen kimin nereye başvurduğunun bileşiminden kaynaklanıyordu.
Neden Olur: Gizli Değişkenler
Simpson Paradoksu, karıştırıcı değişken olarak da adlandırılan gizli bir değişken nedeniyle ortaya çıkar ve gruplar arasındaki veri karışımını değiştirir. Berkeley örneğinde gizli değişken bölüm tercihiydi. Hem cinsiyetle (kadınlar farklı bölümleri seçti) hem de sonuçla (bazı bölümlere girmek daha zordu) ilişkiliydi.
Şöyle düşünün: çok farklı durumlardan gelen verileri bir araya getirirseniz, her durumdaki oranlar her grupta sonuçlara hâkim olabilir. Yüksek oranlı küçük bir grup ve düşük oranlı büyük bir grup, daha büyük gruba doğru çekilen birleşik bir oran üretecektir. İki grubun farklı "kolay" ve "zor" vaka oranları varsa, birleşik oranları tersine dönebilir.
Bir şirketin iki bölümü vardır. Bölüm X'te, yeni eğitim programı katılımcıların %80'inde performansı artırdı (50'den 40). Bölüm Y'de katılımcıların %90'ında performansı artırdı (10'dan 9). Genel iyileşme oranı 60'tan 49, yani yaklaşık %82'dir. Bu arada, farklı bir şirketin programı Bölüm X'te %85 (20'den 17) ve Bölüm Y'de %95 (40'tan 38) iyileştirdi. Onların genel oranı 60'tan 55, yani yaklaşık %92'dir. İkinci şirket genel olarak daha iyi görünür, ancak birinci şirketin programı her iki bölümde de daha yüksek orana sahipti. Paradoks, birinci şirketin çoğu kişiyi daha zor bölüme koymasından kaynaklanır.
Simpson Paradoksu Tıp ve İş Dünyasında
Tıpta Simpson Paradoksu tedavi karşılaştırmalarını etkileyebilir. Bir çalışma, Tedavi A'nın genel olarak Tedavi B'den daha iyi sonuçlara sahip olduğunu gösterebilir, ancak hastaları şiddete göre ayırdığınızda, Tedavi B aslında hem hafif hem de şiddetli vakalar için daha iyidir. Bu, Tedavi B orantısız biçimde en şiddetli hastalara verildiyse ve genel ortalamasını aşağı çektiyse olabilir.
İş dünyasında dönüşüm oranlarında görebilirsiniz. Bir pazarlama kanalı daha düşük genel dönüşüm oranına sahip olabilir ama her müşteri segmentinde üstün performans gösterebilir. Fark, o kanalın dönüştürülmesi zor segmentlerden daha fazla müşteri getirmesinden kaynaklanır. Toplu sayıya dayanarak karar vermek, en iyi performans gösteren kanalınızı kesmenize yol açabilir.
Beyzbolda vuruş ortalamaları da paradoksu ünlü bir şekilde göstermiştir. Bir oyuncu her yıl diğer oyuncudan daha yüksek vuruş ortalamasına sahip olabilir ama yıllar birleştirildiğinde daha düşük ortalamaya sahip olabilir, çünkü her yıldaki vuruş sayıları dramatik biçimde farklıdır.
Kandırılmamak İçin Ne Yapmalı
Simpson Paradoksu'na karşı temel savunma, her zaman farklı bir hikâye anlatabilecek alt grupların var olup olmadığını düşünmektir. Toplu veri gördüğünüzde kendinize sorun: bu veride anlamlı kategoriler var mı? Bu kategorilerin karışımı karşılaştırılan gruplar arasında farklı olabilir mi?
Bu, her zaman alt grup sonuçlarını tercih etmeniz gerektiği anlamına gelmez. Bazen toplu bakış doğru olanıdır. Doğru yaklaşım, spesifik sorunuza ve farkın neyin sebep olduğuna bağlıdır. Gizli değişken kontrol etmeniz gereken bir karıştırıcıysa, alt grup analizi daha güvenilirdir. Gizli değişken karşılaştırmanın gerçek bir yönünü yansıtıyorsa, toplu bakış uygun olabilir.
Mümkün olduğunca veriye her iki şekilde bakın. Toplu ve alt grup analizleri uyuşuyorsa, daha güvenli olabilirsiniz. Uyuşmuyorsa, sonuç çıkarmadan önce daha derine inin. Paradoks, veri özetlerinin ortaya koyduğu kadar gizleyebildiğinin güçlü bir hatırlatıcısıdır.
Simpson Paradoksu, her alt grupta geçerli olan bir eğilimin gruplar birleştirildiğinde tersine dönmesiyle ortaya çıkar. Gizli bir değişkenin gruplar arasında veri bileşimini değiştirmesi nedeniyle olur. Panzehir, verilerinize birden fazla düzeyde bakmak ve gizli alt grupların genel örüntüyü yönlendirip yönlendirmediğini her zaman sormaktır. Toplu veriler, ayrıntılı görünümden tamamen farklı bir hikâye anlatabilir.