Ý tưởng nền tảng
Mọi hệ thống xác suất sai theo hai cách, và hai cách đó gần như không bao giờ đáng giá như nhau.
| Loại sai | Nghĩa là | Ví dụ trong lọc thư rác |
|---|---|---|
| Dương tính giả | Hệ thống báo có, thực tế không | Thư quan trọng bị đẩy vào hòm rác — rất đắt |
| Âm tính giả | Hệ thống báo không, thực tế có | Thư rác lọt vào hòm chính — khó chịu, nhưng rẻ |
Chiều lệch đảo ngược tuỳ bài toán
| Bài toán | Loại sai đắt hơn | Nên chỉnh nghiêng về |
|---|---|---|
| Sàng lọc bệnh | Bỏ sót người bệnh | Báo động thừa, rồi cho người kiểm lại |
| Phát hiện gian lận thanh toán | Chặn nhầm giao dịch thật | Cho qua, rồi rà soát sau |
| Kiểm duyệt nội dung | Tuỳ: gỡ nhầm bài sạch hay để lọt bài độc | Phải chọn, và chọn công khai |
| Gợi ý sản phẩm | Gần như không loại nào đắt | Tối ưu tổng thể, không cần lệch |
| Duyệt hồ sơ vay | Tuỳ khẩu vị rủi ro của tổ chức | Quyết định của ban lãnh đạo, không của đội |
Vì sao đây là quyết định sản phẩm, không phải kỹ thuật
Chỉnh chiều lệch là một cái núm: kéo về một phía thì loại sai này giảm và loại kia tăng. Núm đó không có vị trí "đúng" về mặt toán học. Vị trí đúng phụ thuộc vào ai chịu hậu quả và hậu quả đó lớn bao nhiêu — và đó là câu hỏi kinh doanh.
Nếu người làm sản phẩm không trả lời, đội kỹ thuật sẽ đặt núm ở chỗ tối ưu tổng số lỗi. Đó gần như luôn là vị trí sai, vì nó ngầm giả định hai loại sai ngang giá — một giả định gần như không bao giờ đúng.
Ví dụ: phân loại hồ sơ bồi thường
Quay lại ca ở bài 1.
- Gán nhầm hồ sơ phức tạp vào nhóm đơn giản: có thể chi trả sai, có thể thành vấn đề pháp lý, có thể lên báo.
- Gán nhầm hồ sơ đơn giản vào nhóm cần xem xét: tốn thêm khoảng 11 phút của một nhân viên.
Kết quả: 60% hồ sơ được xử lý tự động, tỉ lệ bỏ lọt dưới 0,5%, đội xử lý giảm một phần ba khối lượng. Đó là thành công, và nó đo được. Nếu chỉ tối ưu tổng số lỗi, hệ thống có thể đạt độ chính xác cao hơn trên giấy và đồng thời bỏ lọt gấp năm lần số hồ sơ nguy hiểm.
Khi hai loại sai rơi vào hai nhóm người khác nhau
Đây là trường hợp khó nhất và hay bị bỏ qua nhất.
Hệ thống chấm điểm hồ sơ ứng viên: sai kiểu A là loại nhầm một ứng viên giỏi — người chịu hậu quả là ứng viên, và họ không bao giờ biết. Sai kiểu B là đẩy một hồ sơ yếu vào vòng phỏng vấn — người chịu hậu quả là nhà tuyển dụng, và họ biết ngay.
Chỉ một bên có tiếng nói. Nếu bạn chỉ nghe phản hồi từ người dùng trả tiền, bạn sẽ chỉnh núm theo hướng làm hại nhóm không có tiếng nói — và số liệu sẽ trông rất tốt.
Quy tắc: khi hai loại sai rơi vào hai nhóm khác nhau, viết ra ai chịu gì, và ai không có mặt trong phòng.
Sai lầm thường gặp
| Sai lầm | Hậu quả | Cách tránh |
|---|---|---|
| Gộp hai loại sai vào một con số "độ chính xác" | Che giấu việc hệ thống sai theo cách nguy hiểm | Luôn tách và báo cáo riêng |
| Để đội kỹ thuật chọn chiều lệch | Núm đặt ở chỗ tối ưu tổng số lỗi | Người làm sản phẩm định giá hai loại sai |
| Chỉ đo tổng thể, không theo nhóm ca | Hệ thống rất tệ ở đúng nhóm quan trọng | Tách kết quả theo nhóm |
| Bỏ qua nhóm chịu hậu quả mà không có tiếng nói | Số liệu đẹp, tác hại thật | Viết ra ai chịu gì, kể cả người không phải khách hàng |
Làm ngay
Với tính năng của bạn, viết ra hai dòng:
- Sai kiểu A là gì, ai chịu, tốn gì.
- Sai kiểu B là gì, ai chịu, tốn gì.