Một con số chính xác che mất điều quan trọng nhất
Hệ thống duyệt hồ sơ vay đạt "chính xác 95%". Nghe tốt. Nhưng 5% sai đó gồm hai loại hoàn toàn khác nhau:
- Từ chối một người đủ điều kiện. Mất một khách. Họ đi ngân hàng khác. Bạn không bao giờ biết.
- Duyệt một người không đủ điều kiện. Mất khoản vay. Có thể vi phạm quy định. Có thể bị kiểm tra.
Đây là công việc của BA, không của kỹ sư. Kỹ sư biết cách giảm tỉ lệ sai. Chỉ bạn biết sai kiểu nào đắt hơn kiểu nào — vì đó là câu hỏi về nghiệp vụ, quy định và khách hàng.
Bảng chi phí của sai
Với mỗi tính năng, làm một bảng. Bốn cột, và cột cuối là cột quyết định:
| Kiểu sai | Ví dụ cụ thể | Ai chịu | Chi phí nếu xảy ra |
|---|---|---|---|
| Bỏ sót cái cần bắt | Không phát hiện hoá đơn trùng | Kế toán, phát hiện khi đối soát | Trung bình — tìm được, mất công |
| Bắt sai cái không cần | Gắn cờ hoá đơn hợp lệ là nghi vấn | Nhân viên duyệt | Thấp — thêm 2 phút xem lại |
| Trích sai con số | Đọc 12.500.000 thành 1.250.000 | Sổ sách, có thể không ai thấy | Rất cao — sai âm thầm |
| Ngoài phạm vi mà vẫn đoán | Hoá đơn nước ngoài, tự bịa MST | Sổ sách | Rất cao |
| Nhận mình không chắc | Đẩy hàng chờ khi ảnh mờ | Nhân viên duyệt | Đây là hành vi mong muốn |
Ba mức phân loại thay cho "bug / not bug"
QA cần một thang mới. Ba mức, và định nghĩa dựa trên ai phát hiện được:
| Mức | Định nghĩa | Ngưỡng |
|---|---|---|
| Không chấp nhận | Sai âm thầm, không ai phát hiện trong quy trình bình thường | Phải bằng 0 trên bộ ca. Không có tỉ lệ nào là "đủ tốt" |
| Cần giảm | Sai nhưng có người hoặc phép kiểm bắt được | Có ngưỡng tỉ lệ, thoả thuận được |
| Chi phí vận hành | Hệ thống nhận mình không chắc, chuyển người | Không phải lỗi. Đo để tính công, không để đánh giá chất lượng |
Đối xứng không có thật: vì sao mặc định luôn lệch
Hệ thống học máy tối ưu con số bạn cho nó. Nếu bạn không nói kiểu sai nào đắt hơn, nó coi hai kiểu là bằng nhau — và với bài toán thật, điều đó gần như luôn sai.
Ví dụ: sàng lọc CV. Bỏ sót một ứng viên tốt (bạn không biết) so với chuyển lên một ứng viên không phù hợp (nhà tuyển dụng mất 20 phút). Mức nặng rất khác, và cái đắt hơn lại là cái bạn không nhìn thấy. Hệ thống không tự biết điều đó. Bạn phải viết ra.
Cách viết vào đặc tả: "Khi phải đánh đổi, ưu tiên giảm bỏ sót ứng viên phù hợp, kể cả khi điều đó tăng số ứng viên không phù hợp phải xem thủ công. Tỉ lệ đánh đổi chấp nhận được: đến 3 ca xem thừa cho mỗi 1 ca bỏ sót tránh được."
Câu cuối là câu biến một nguyên tắc thành một chỉ dẫn kỹ thuật dùng được.
Bài toán ngược: sai nào bạn KHÔNG nhìn thấy
Với mỗi kiểu sai trong bảng, hỏi: "Nếu điều này xảy ra 100 lần tháng này, chúng ta có biết không?"
Kiểu sai trả lời "không" là kiểu sai cần:
- một phép kiểm tự động (như
tiền hàng + VAT = tổng), hoặc - một quy trình lấy mẫu định kỳ (mỗi tuần kiểm 20 ca ngẫu nhiên đã tự động xử lý)
Làm ngay
Làm bảng chi phí của sai cho tính năng AI gần nhất của bạn. Rồi khoanh dòng nào thuộc mức "Không chấp nhận" và viết phép kiểm tự động chặn nó. Nếu không viết được phép kiểm nào, tính năng đó chưa nên lên sản phẩm.