Phản xạ mặc định và vì sao nó tốn kém
Khi một tính năng AI chưa đủ tốt, phản xạ của mọi đội là: làm cho mô hình chính xác hơn. Đó là thứ đội kỹ thuật biết làm, là thứ được khen, và là thứ nghe có vẻ nghiêm túc.
Nhưng nhìn lại công thức ở bài 2:
Giá trị = (tỉ lệ đúng × lợi ích) − (tỉ lệ sai × cái giá) − chi phí vận hành
Nâng độ chính xác tác động vào hai số hạng đầu. Nhưng cái giá mỗi lần sai cũng là một biến số, và nó thường rẻ hơn nhiều để thay đổi.
Sáu cách làm lần sai rẻ đi
| Cách | Chi phí | Hiệu quả | Đánh đổi |
|---|---|---|---|
| Hoàn tác một chạm | Vài ngày | Cao | Cần lưu trạng thái trước đó |
| Người duyệt cho ca rủi ro cao | Một tuần | Rất cao | Chậm hơn, tốn người |
| Thu hẹp phạm vi | Vài ngày | Rất cao | Phục vụ ít ca hơn |
| Hiện độ tin cậy | Vài ngày | Trung bình | Phải dịch sang ngôn ngữ hành động |
| Cho sửa tại chỗ | Một tuần | Cao | Cần thiết kế lại giao diện kết quả |
| Rà soát mẫu ngẫu nhiên | Vài ngày | Cao cho ca chậm | Chỉ phát hiện sau, không chặn trước |
Thu hẹp phạm vi — cách bị đánh giá thấp nhất
Đây là công cụ mạnh nhất trong bảng và ít được dùng nhất, vì nó cảm giác như thất bại. Nhưng nó thường biến một tính năng không khả thi thành một tính năng đang chạy.
Nguyên tắc: tìm nhóm ca mà hệ thống đã giỏi sẵn, và chỉ chạy tự động trên nhóm đó.
Ví dụ từ bài 2: thay vì tự động duyệt mọi yêu cầu hoàn tiền dưới 500.000đ, chỉ tự động duyệt yêu cầu dưới 200.000đ từ tài khoản có lịch sử sạch trên 6 tháng. Nhóm đó chiếm 62% khối lượng, tỉ lệ gian lận thấp hơn nhiều, và thiệt hại mỗi lần sai chỉ bằng 40%.
Kết quả: cùng mô hình, phép tính chuyển từ âm sang dương.
Mức chặn phải tỉ lệ với thiệt hại
Không phải mọi ca đều cần cùng một mức bảo vệ. Thiết kế theo bậc:
| Mức thiệt hại nếu sai | Cách xử lý | Ví dụ |
|---|---|---|
| Rất thấp | Chạy thẳng, có hoàn tác | Gợi ý thẻ phân loại nội bộ |
| Thấp | Chạy thẳng + hiện độ tin cậy + sửa tại chỗ | Tóm tắt cuộc họp |
| Trung bình | Bản nháp, người bấm gửi | Soạn email trả lời khách |
| Cao | Bắt buộc người duyệt, hiện rõ tác động | Hoàn tiền, đổi dữ liệu |
| Rất cao | Không tự động hoá — AI chỉ gợi ý cho người quyết | Chẩn đoán, quyết định tín dụng |
Cảnh báo phải tỉ lệ với thiệt hại, không rải đều
Mỗi khi gặp ca khó, phản xạ là thêm một dòng cảnh báo. Sau vài tháng, giao diện đầy cảnh báo và không ai đọc cái nào.
Quy tắc: ca thiệt hại cao thì chặn hẳn; ca thiệt hại thấp thì im lặng. Vùng giữa mới dùng cảnh báo. Một cảnh báo xuất hiện ở mọi nơi có giá trị thông tin bằng không.
Ví dụ: cùng mô hình, ba thiết kế
Hệ thống gợi ý mã phân loại kế toán, độ chính xác 84%.
Thiết kế 1 — tự động áp dụng. 16% ghi sai sổ. Kế toán mất niềm tin trong tuần đầu, tắt tính năng. Giá trị: âm.
Thiết kế 2 — chỉ gợi ý, người chọn. Kế toán thấy gợi ý, bấm chấp nhận hoặc đổi. Tiết kiệm khoảng 70% thao tác gõ. Sai thì mất hai giây. Giá trị: dương, rõ ràng.
Thiết kế 3 — gợi ý + tự động cho nhóm chắc chắn. Với nhóm giao dịch lặp lại hằng tháng (chiếm 40% khối lượng), độ chính xác đạt 97% — tự động áp dụng và ghi nhật ký. Phần còn lại giữ như thiết kế 2. Giá trị: cao nhất.
Cả ba dùng cùng một mô hình. Khác biệt hoàn toàn nằm ở thiết kế xung quanh nó.
Và chú ý thiết kế 3: nó không đòi hỏi mô hình tốt hơn, chỉ đòi hỏi biết nhóm ca nào mô hình đã giỏi sẵn. Thông tin đó luôn có sẵn trong dữ liệu đánh giá — chỉ là hiếm khi có ai đi tìm.
Làm ngay
Với tính năng của bạn, trả lời hai câu:
- Nếu không thể làm nó chính xác hơn, có cách nào làm lần sai rẻ đi một nửa không?
- Có nhóm ca nào mà hệ thống đã giỏi sẵn không? Chạy tự động riêng nhóm đó có đủ giá trị không?