Ngưỡng chất lượng và chi phí của sai

Câu hỏi "bao nhiêu là đủ" không có câu trả lời kỹ thuật

Mọi dự án AI đều đến lúc có người hỏi: "85% đã đủ chưa?" Và thường thì cả phòng im lặng, hoặc tệ hơn, có người trả lời bằng cảm giác.

Câu hỏi này không thuộc về kỹ thuật. Nó là một phép tính kinh doanh: đủ hay chưa phụ thuộc vào việc một lần sai tốn bao nhiêu, và ai gánh cái giá đó. Cùng một con số 85% có thể là quá thừa cho tính năng này và hoàn toàn không chấp nhận được cho tính năng kia.

Kỹ năng này biến câu hỏi cảm tính đó thành một phép tính có thể làm được, và đặt quyết định vào đúng tay người chịu trách nhiệm.

Hai loại sai không bao giờ ngang giá

Đây là ý tưởng nền tảng, và nó bị bỏ qua trong phần lớn dự án.

Trong ví dụ này hai loại sai lệch nhau rất xa về giá trị. Đó là lý do bộ lọc thư rác được chỉnh nghiêng hẳn về một phía: thà để lọt vài thư rác còn hơn giấu mất một hợp đồng.

Và chiều lệch đảo ngược hoàn toàn tuỳ bài toán:

Không chọn cũng là một lựa chọn — nó chỉ có nghĩa là ai đó trong đội kỹ thuật đã chọn thay bạn, theo mặc định của công cụ, và không ai biết.

Cách tính ngưỡng — từng bước, có số

• Bước 1 — Định giá mỗi loại sai bằng tiền hoặc thời gian. Không cần chính xác, cần đúng bậc độ lớn. "Một lần gán nhầm phiếu khẩn cấp ≈ 4 giờ trễ ≈ một khách hàng giận" so với "một lần gán nhầm phiếu thường ≈ 3 phút người xử lý".
• Bước 2 — Ước lượng khối lượng. Bao nhiêu lần mỗi tháng? Sai 1% trên 100 ca/tháng là một ca; trên 100.000 ca/tháng là một nghìn ca.
• Bước 3 — Nhân ra tổng thiệt hại ở vài mức chính xác. Lập bảng: ở 80%, 85%, 90%, 95% thì tổng thiệt hại mỗi tháng là bao nhiêu.
• Bước 4 — Đặt cạnh chi phí đạt được mức đó. Hỏi đội kỹ thuật: đi từ 85% lên 90% tốn bao lâu? Thường phi tuyến — mỗi điểm phần trăm sau đắt hơn nhiều điểm trước.
• Bước 5 — Tìm điểm mà chi phí thêm vượt lợi ích thêm. Đó là ngưỡng của bạn.
• Bước 6 — Hỏi câu rẻ tiền trước khi chốt: nếu thêm một đường hoàn tác hoặc một bước người duyệt, cái giá mỗi lần sai giảm bao nhiêu? Thường điều này rẻ hơn nhiều so với việc nâng độ chính xác, và làm ngưỡng cần thiết tụt xuống đáng kể.

Bước 6 thường thay đổi cả dự án. Một tính năng cần 95% để an toàn có thể chỉ cần 82% nếu có người duyệt ở giữa — và việc thêm bước duyệt mất một tuần, còn đi từ 82% lên 95% có thể mất sáu tháng và vẫn không tới.

Ví dụ tính thật — tự động duyệt hoàn tiền

Bối cảnh: sàn thương mại điện tử, muốn tự động duyệt yêu cầu hoàn tiền dưới 500.000đ. Hiện có người duyệt tay, 3.000 yêu cầu mỗi tháng, mỗi yêu cầu mất 4 phút.

Bảng tính ở các mức:

Đọc ra: ngay cả ở 95%, khoản mất do gian lận (26 triệu/tháng) vẫn lớn hơn giá trị 181 giờ tiết kiệm được. Tự động hoá hoàn toàn là lựa chọn sai ở mọi mức chính xác khả thi.

Rồi áp dụng bước 6 — thiết kế lại để giảm cái giá của lần sai:

• Chỉ tự động duyệt yêu cầu dưới 200.000đ (giảm thiệt hại mỗi lần sai kiểu A xuống còn khoảng 140.000đ) và chỉ với tài khoản có lịch sử trên 6 tháng không có tranh chấp — nhóm này chiếm 62% khối lượng và tỉ lệ gian lận thấp hơn nhiều.
• Phần còn lại vẫn qua người duyệt.
• Rà soát mẫu ngẫu nhiên 3% các yêu cầu đã tự động duyệt, hằng tuần.

Kết quả: ở cùng mức chính xác 88%, thiệt hại còn khoảng 8 triệu/tháng và vẫn tiết kiệm được khoảng 100 giờ. Phép tính chuyển từ âm sang dương mà không cần cải thiện mô hình một chút nào — chỉ cần thu hẹp phạm vi và giảm cái giá của lần sai.

Ngưỡng không phải một con số — nó là một bảng

Đặt một ngưỡng duy nhất cho cả tính năng là sai lầm phổ biến, vì nó che giấu việc hệ thống có thể rất tệ ở đúng nhóm ca quan trọng nhất.

Hiccups thường gặp và cách xử lý

Vì sao vai trò của bạn cần cái này

Definition of done

• Hai loại sai được định nghĩa và định giá riêng bằng tiền hoặc thời gian.
• Có bảng tổng thiệt hại ở ít nhất ba mức chính xác, kèm khối lượng thật.
• Đã hỏi đội kỹ thuật chi phí đi từ mức này lên mức kia.
• Đã chạy bước "giảm cái giá của lần sai" trước khi chốt ngưỡng.
• Ngưỡng được chia theo nhóm ca, loại sai và phân khúc — không phải một con số.
• Có ngưỡng theo thời gian và lịch đo lại.
• Người chịu trách nhiệm kinh doanh đã ký vào ngưỡng.