Bias không phải cảm giác, mà là con số đo được
Nói "mô hình có vẻ thiên vị" là vô dụng trong phòng họp. Responsible AI PM phải nói: "Tỷ lệ được duyệt của nhóm A là 62%, nhóm B là 41% với cùng hồ sơ tương đương — chênh lệch 21 điểm phần trăm, vượt ngưỡng chấp nhận 10%." Bài này dạy bạn biến trực giác thành metric.
Bias đến từ đâu
- Dữ liệu lịch sử thiên lệch — mô hình học từ quyết định con người vốn đã bất công (VD: hồ sơ tuyển dụng quá khứ ưu tiên nam).
- Dữ liệu thiếu đại diện — nhóm thiểu số ít mẫu → mô hình đoán kém cho họ.
- Proxy variables — biến tưởng vô hại nhưng thay thế cho thuộc tính nhạy cảm (mã bưu chính ↔ sắc tộc/thu nhập).
- Thiết kế label — cách định nghĩa "nhân viên tốt" đã cài định kiến.
Các metric công bằng chính (chọn, không dùng hết)
Không có một định nghĩa "công bằng" đúng tuyệt đối — chúng mâu thuẫn nhau về mặt toán học. PM phải chọn định nghĩa phù hợp ngữ cảnh:
- Demographic parity (Cân bằng nhân khẩu) — Tỷ lệ nhận kết quả tích cực bằng nhau giữa các nhóm. Dùng khi mục tiêu là đại diện cân bằng (VD: hiển thị quảng cáo việc làm).
- Equal opportunity (Cơ hội bình đẳng) — Tỷ lệ true positive bằng nhau: những người thực sự đủ điều kiện có cơ hội được duyệt như nhau bất kể nhóm. Dùng cho tuyển dụng, cho vay.
- Equalized odds — Cả true positive rate và false positive rate bằng nhau giữa các nhóm.
- Calibration (Hiệu chuẩn) — Điểm số dự đoán có cùng ý nghĩa giữa các nhóm (điểm 0.8 = 80% khả năng đúng cho mọi nhóm).
Quy trình đo bias
- Xác định nhóm được bảo vệ — giới, tuổi, vùng miền, thu nhập... (theo luật và ngữ cảnh).
- Chọn metric công bằng — dựa trên loại tác hại (Bài 1).
- Đo trên tập test có phân tầng — đảm bảo đủ mẫu mỗi nhóm.
- So với ngưỡng — đặt ngưỡng chấp nhận trước (VD: chênh lệch < 10%).
- Điều tra nguyên nhân — nếu lệch, do dữ liệu, proxy, hay ngưỡng?
Cách giảm bias
- Pre-processing — cân bằng lại dữ liệu, tăng mẫu nhóm thiếu, loại proxy nguy hiểm.
- In-processing — thêm ràng buộc công bằng vào quá trình train.
- Post-processing — điều chỉnh ngưỡng quyết định riêng cho từng nhóm (cẩn thận về mặt pháp lý).
- Thiết kế sản phẩm — thêm human review cho ca biên, kênh khiếu nại, giải thích quyết định.
Ví dụ cụ thể
Mô hình sàng lọc CV cho vị trí kỹ sư. PM đo equal opportunity: trong số ứng viên thực sự đạt phỏng vấn sau này, tỷ lệ được mô hình chọn là 78% (nam) vs 54% (nữ). Điều tra: mô hình phạt các từ như "câu lạc bộ nữ sinh", và học từ dữ liệu quá khứ thiên lệch. Giải pháp: loại các đặc trưng proxy giới, tái cân bằng dữ liệu train, và thêm bước human review. Sau đó chênh lệch còn 6%, dưới ngưỡng 10%.
Checklist đo bias
- [ ] Đã liệt kê nhóm được bảo vệ theo ngữ cảnh sản phẩm?
- [ ] Đã chọn metric công bằng phù hợp và ghi lý do?
- [ ] Tập test có đủ mẫu cho từng nhóm nhỏ?
- [ ] Đã đặt ngưỡng chấp nhận TRƯỚC khi đo (tránh tự lừa)?
- [ ] Đã kiểm tra proxy variables ẩn?
- [ ] Có kế hoạch đo lại định kỳ (bias trôi theo thời gian)?
Sai lầm thường gặp
- Xóa biến nhạy cảm rồi tuyên bố công bằng. Mô hình vẫn học qua proxy. "Fairness through unawareness" thường thất bại.
- Chỉ nhìn accuracy tổng. Accuracy 95% có thể che giấu việc mô hình sai 40% cho một nhóm nhỏ.
- Chọn metric sau khi đo để chọn cái nào cho kết quả đẹp. Phải chọn trước.
- Đo một lần rồi quên. Phân phối dữ liệu thay đổi; bias có thể tái xuất.
Tổng kết
Công bằng là một quyết định đánh đổi có chủ đích, được đo bằng con số và giải trình được — không phải một lời hứa. PM chọn định nghĩa, đặt ngưỡng, và sở hữu kết quả.