Nghịch lý Simpson

Xu hướng bị đảo ngược

Tưởng tượng bạn so sánh hai bệnh viện. Bệnh viện A có tỷ lệ sống sót cao hơn Bệnh viện B cho bệnh nhân phẫu thuật tim. Bệnh viện A cũng có tỷ lệ sống sót cao hơn cho phẫu thuật tổng quát. Vậy Bệnh viện A phải tốt hơn tổng thể, đúng không? Không nhất thiết. Khi kết hợp dữ liệu, Bệnh viện B thực sự có thể có tỷ lệ sống sót tổng thể cao hơn. Đây là Nghịch lý Simpson: xu hướng xuất hiện trong các nhóm riêng biệt bị đảo ngược hoặc biến mất khi các nhóm được kết hợp.

Nghe có vẻ bất khả thi, nhưng xảy ra thường xuyên trong dữ liệu thực. Nghịch lý phát sinh do mất cân bằng trong phân bổ các trường hợp giữa các nhóm. Hiểu điều này rất quan trọng cho bất kỳ ai làm việc với dữ liệu, vì số liệu tổng hợp có thể kể câu chuyện hoàn toàn sai lệch.

Trường hợp tuyển sinh Berkeley

Ví dụ nổi tiếng nhất về Nghịch lý Simpson đến từ Đại học California, Berkeley. Năm 1973, dữ liệu tuyển sinh sau đại học tổng thể cho thấy 44% nam ứng viên được nhận so với chỉ 35% nữ. Điều này trông như bằng chứng rõ ràng về phân biệt giới tính chống phụ nữ.

Nhưng khi nhà nghiên cứu xem xét từng khoa riêng, họ phát hiện điều đáng kinh ngạc. Ở hầu hết các khoa, nữ được nhận với tỷ lệ bằng hoặc cao hơn nam. Không có thiên vị cấp khoa chống phụ nữ. Vậy sao số liệu tổng thể lại cho thấy khoảng cách?

Câu trả lời là phụ nữ nộp đơn không cân xứng vào các khoa cạnh tranh nhất - nơi có tỷ lệ nhận thấp cho tất cả. Nam có xu hướng nộp vào khoa ít cạnh tranh với tỷ lệ nhận cao hơn. Khi kết hợp tất cả khoa, sự khác biệt về nơi nam và nữ nộp đơn tạo ra ảo giác thiên vị không tồn tại ở cấp khoa.

Như thấy trong dữ liệu cấp khoa trên, phụ nữ thực sự có tỷ lệ nhận tương đương hoặc tốt hơn trong từng khoa. Khoảng cách tổng thể hoàn toàn do thành phần của ai nộp đơn ở đâu.

Tại sao xảy ra: Biến ẩn

Nghịch lý Simpson xảy ra do biến ẩn, còn gọi là biến gây nhiễu, thay đổi thành phần dữ liệu giữa các nhóm. Trong ví dụ Berkeley, biến ẩn là lựa chọn khoa. Nó liên quan cả giới tính (phụ nữ chọn khoa khác) và kết quả (một số khoa khó nhận hơn).

Nghĩ thế này: nếu trộn dữ liệu từ tình huống rất khác nhau, tỷ lệ mỗi tình huống trong mỗi nhóm có thể chi phối kết quả. Nhóm nhỏ tỷ lệ cao và nhóm lớn tỷ lệ thấp sẽ tạo tỷ lệ kết hợp kéo về nhóm lớn hơn. Nếu hai nhóm có tỷ lệ "dễ" và "khó" khác nhau, tỷ lệ kết hợp có thể đảo ngược.

Nghịch lý Simpson trong y tế và kinh doanh

Trong y tế, Nghịch lý Simpson ảnh hưởng so sánh điều trị. Nghiên cứu có thể cho thấy Điều trị A có kết quả tốt hơn Điều trị B tổng thể, nhưng khi tách theo mức độ nặng, Điều trị B thực sự tốt hơn cho cả nhẹ và nặng. Điều này xảy ra nếu Điều trị B được cho không cân xứng với bệnh nhân nặng nhất, kéo trung bình tổng xuống.

Trong kinh doanh, bạn có thể thấy ở tỷ lệ chuyển đổi. Kênh marketing có thể có tỷ lệ chuyển đổi tổng thấp hơn nhưng vượt trội ở mọi phân khúc khách hàng. Khác biệt phát sinh vì kênh đó mang về nhiều khách từ phân khúc khó chuyển đổi. Ra quyết định dựa trên số tổng hợp có thể dẫn đến cắt kênh hiệu quả nhất.

Tỷ lệ đánh bóng trong bóng chày cũng từng chứng minh nghịch lý. Cầu thủ có thể có tỷ lệ đánh bóng cao hơn cầu thủ khác trong mỗi năm riêng nhưng thấp hơn khi kết hợp các năm, vì số lần đánh bóng mỗi năm khác nhau đáng kể.

Cách tránh bị đánh lừa

Phòng thủ chính chống Nghịch lý Simpson là luôn xem xét liệu có nhóm phụ nào kể câu chuyện khác không. Khi thấy dữ liệu tổng hợp, hãy tự hỏi: có danh mục có ý nghĩa nào trong dữ liệu? Thành phần các danh mục có thể khác nhau giữa các nhóm so sánh?

Điều này không có nghĩa luôn ưu tiên kết quả nhóm phụ. Đôi khi góc nhìn tổng hợp là đúng. Cách tiếp cận đúng phụ thuộc câu hỏi cụ thể và nguyên nhân gây khác biệt. Nếu biến ẩn là gây nhiễu cần kiểm soát, phân tích nhóm phụ đáng tin hơn. Nếu biến ẩn phản ánh khía cạnh thực của so sánh, tổng hợp có thể phù hợp.

Khi có thể, nhìn dữ liệu cả hai cách. Nếu phân tích tổng hợp và nhóm phụ đồng ý, bạn tự tin hơn. Nếu bất đồng, đào sâu trước khi kết luận. Nghịch lý là lời nhắc mạnh mẽ rằng tóm tắt dữ liệu có thể giấu nhiều như nó tiết lộ.