NGHỊCH LÝ SIMPSON VÀ SỰ ĐẢO NGƯỢC THÔNG TIN - ĐẰNG SAU VỤ KIỆN CHẤN ĐỘNG TẠI UC BERKELEY (1973)
Có bao giờ bạn thấy rằng mình luôn chịu thiệt thòi hoặc bị “đối xử bất công” không? Thực chất, đây là một hành vi tâm lý khá phổ biến dẫu cho sự thật không hề như vậy. Điều này được chứng minh qua một nghịch lý Toán học: Nghịch lý Simpson (Simpson's paradox)
Có bao giờ bạn thấy rằng mình luôn chịu thiệt thòi hoặc bị “đối xử bất công” không? Thực chất, đây là một hành vi tâm lý khá phổ biến dẫu cho sự thật không hề như vậy. Điều này được chứng minh qua một nghịch lý Toán học: Nghịch lý Simpson (Simpson's paradox), một hiện tượng cực kỳ thú vị trong Toán thống kê, xảy ra khi một xu hướng, một mối quan hệ xuất hiện trong các nhóm dữ liệu nhỏ, nhưng lại hoàn toàn bị đảo ngược hoặc biến mất khi các nhóm đó được gộp lại với nhau. Nói một cách dễ hiểu: nhìn từng phần thì thấy một kiểu, nhưng gom lại tổng thể thì kết quả lại ra một kiểu hoàn toàn ngược lại.
Ví dụ kinh điển nhất, rõ ràng nhất để minh họa cho nghịch lý này chính là vụ kiện phân biệt giới tính tại Đại học UC Berkeley vào năm 1973.
Vào mùa thu năm 1973, Đại học UC Berkeley (California, Mỹ) đối mặt với một rắc rối lớn. Dữ liệu tuyển sinh sau đại học của trường cho thấy một sự chênh lệch đáng báo ngạc giữa tỷ lệ trúng tuyển của nam và nữ. Người ta nghi ngờ rằng trường đã có sự thiên kiến giới tính (gender bias) trong tuyển sinh. Khi nhìn vào tổng số hồ sơ ứng tuyển của trường, bức tranh tổng thể của tỉ lệ trúng tuyển chênh lệch lớn giữa 2 giới tính: Nam với 44% tỉ lệ trúng tuyển trong khi tỉ lệ này ở Nữ chỉ 35%. Với tỉ lệ chênh lệch lên đến 9 điểm phần trăm, bất kỳ ai cũng sẽ đặt câu hỏi: Tại sao tỷ lệ đỗ của nam cao hơn hẳn nữ, rõ ràng là có sự bất công.
Tuy nhiên, sự thật không hẳn vậy. Để tìm ra nguyên nhân và giải quyết vụ kiện, nhà thống kê Peter Bickel và các đồng nghiệp đã bóc tách dữ liệu của 6 khoa lớn nhất trường. Ngay lập tức xuất hiện nghịch lý: làm thế nào mà ở hầu hết các khoa, tỷ lệ đỗ của nữ giới đều cao hơn hoặc bằng nam giới, nhưng khi cộng tổng lại toàn trường, tỷ lệ đỗ của nam lại vượt trội (44% so với 35%)?
Tại sao lại như vậy?
Sự đảo ngược kỳ lạ này xảy ra do hai yếu tố (biến ẩn) mà nếu chỉ nhìn vào số tổng chúng ta sẽ không thấy được xu hướng nộp hồ sơ của hai giới hoàn toàn khác nhau. Phụ nữ có xu hướng nộp đơn nhiều vào các khoa có tỷ lệ chọi cực kỳ cao, rất khó để trúng tuyển (như các ngành Khoa học xã hội, Nhân văn). Ở các khoa này, số lượng chỗ học rất ít nên tỷ lệ đỗ của cả nam lẫn nữ đều thấp. Nam giới lại nộp đơn nhiều vào các khoa có quy mô lớn, dễ trúng tuyển hơn (như các ngành Kỹ thuật, Khoa học tự nhiên). Nguyên nhân còn đến từ quy mô của các khoa: các khoa STEM lấy rất nhiều người (tỷ lệ đỗ hơn 60%) với số lượng nam giới nộp vào đây cực đông, kéo điểm số/tỷ lệ trúng tuyển trung bình của toàn bộ nhóm nam lên rất cao. Ngược lại, lượng lớn nữ giới nộp đơn vào các khoa khó - nơi mà tỷ lệ đỗ chung chỉ xung quanh 7% - 35%. Điều này vô tình kéo tỷ lệ trúng tuyển tổng thể của phái nữ xuống thấp. Kết luận của vụ kiện là, UC Berkeley không hề phân biệt giới tính, ngược lại, nếu xét theo từng khoa, nữ giới còn có lợi thế cạnh tranh nhẹ so với nam giới.
Nghịch lý Simpson là một lưu ý quan trọng trong khoa học dữ liệu và phân tích: đừng vội tin vào số liệu gộp (aggregated data). Số liệu tổng hợp có thể che giấu những sự thật hoàn toàn trái ngược ở bên trong. Chúng ta cần tìm kiếm các "biến ẩn" (confounding variable), ví dụ trong vụ kiện trên, "độ khó của khoa" và "lựa chọn ngành học" chính là biến ẩn làm sai lệch tổng thể. Khi phân tích bất kỳ dữ liệu nào, việc phân tách (segmentation) đúng cách là chìa khóa để đưa ra kết luận chính xác.
𝐂𝐎𝐍𝐓𝐀𝐂𝐓𝐒:
☎️ Hotline: 0353 840 125 - Phan Minh Trang (Trưởng Ban Tổ chức)
📧 Email: contact.toanmohinh@gmail.com
📸 Instagram: archive.toanmohinh