Đặc tả hệ thống không tất định

Vì sao tiêu chí chấp nhận thông thường vỡ khi gặp AI

Tiêu chí chấp nhận quen thuộc có dạng: "Khi người dùng nhập mã giảm giá hợp lệ, thì tổng tiền giảm đúng số phần trăm tương ứng." Nó hoạt động vì có đúng một đầu ra đúng, và mọi lần chạy đều cho ra đầu ra đó.

Bây giờ thử viết tiêu chí cho: "Hệ thống tóm tắt phản hồi khách hàng." Đầu ra đúng là gì? Không có một bản tóm tắt đúng duy nhất. Có nhiều bản chấp nhận được, nhiều bản tạm được, và nhiều bản sai — và ranh giới giữa chúng không sắc nét.

Hệ quả rất cụ thể và đang xảy ra ở nhiều đội ngay lúc này: BA viết tiêu chí theo cách đã học, QA không kiểm được, đội tranh cãi ở buổi nghiệm thu, và không ai hiểu vì sao một quy trình đã chạy tốt nhiều năm bỗng nhiên không dùng được.

Vấn đề không nằm ở người viết. Vấn đề là công cụ được thiết kế cho một thế giới khác.

Ba loại tiêu chí thay thế — dùng cả ba, không chọn một

Bất biến là chỗ bạn giữ lại được sự chặt chẽ cũ, và nó quan trọng hơn người ta tưởng. Rất nhiều thứ trong một tính năng AI vẫn hoàn toàn tất định: định dạng đầu ra, phạm vi quyền truy cập, tập nhãn hợp lệ, việc không bao giờ tự động gửi mà không có người duyệt. Viết chúng thành bất biến và kiểm chúng như phần mềm thường.

Dải hành vi là loại hay bị bỏ sót nhất, và nó là loại quyết định sản phẩm dùng được hay không. Nó đặc tả điều mà thế giới tất định không cần đặc tả: hệ thống phải làm gì khi nó không chắc.

Viết lại một tiêu chí — từng bước

Bản tất định (không kiểm được):

"Hệ thống phân loại phiếu hỗ trợ vào đúng nhóm."

Không kiểm được vì: "đúng" theo ai, đúng bao nhiêu phần trăm là đạt, phiếu mơ hồ thì sao, phiếu không thuộc nhóm nào thì sao.

• Bước 1 — Tách phần bất biến ra trước. Cái gì phải đúng mọi lần? "Đầu ra luôn là một trong 8 nhãn đã định, không bao giờ tạo nhãn mới." "Phiếu của khách hàng A không bao giờ hiện cho người xử lý của khách hàng B."
• Bước 2 — Định nghĩa "đúng" bằng một bộ ca có sẵn đáp án. 200 phiếu thật đã được hai người có nghề gán nhãn độc lập. Chỗ hai người bất đồng cũng là thông tin — đó là những ca mà con người cũng không chắc, và không nên kỳ vọng máy chắc hơn.
• Bước 3 — Đặt ngưỡng, theo nhóm ca, không đặt một con số chung. "≥90% trên nhóm phiếu rõ ràng; ≥70% trên nhóm phiếu mơ hồ." Một con số chung che giấu việc hệ thống có thể rất tệ ở nhóm ca quan trọng.
• Bước 4 — Đặt ngưỡng riêng cho loại sai nguy hiểm. "Phiếu khẩn cấp bị gán nhầm sang nhóm thường: ≤0,5%." Loại sai này không được gộp chung với loại sai rẻ.
• Bước 5 — Viết dải hành vi cho ca không chắc. "Khi độ tin cậy dưới ngưỡng, gán nhãn CẦN_NGƯỜI_XEM thay vì đoán." "Khi phiếu không thuộc nhóm nào, gán nhãn KHÁC — không được nhét vào nhóm gần đúng nhất."
• Bước 6 — Viết điều kiện giữ ngưỡng theo thời gian. "Ngưỡng được đo lại hằng tháng trên 100 phiếu mới; tụt quá 5 điểm thì coi là sự cố."

Bước 6 là bước không tồn tại trong thế giới tất định. Một hàm cộng đúng hôm nay sẽ đúng mãi mãi. Một mô hình đạt 90% hôm nay có thể còn 78% sau sáu tháng khi dữ liệu thật đổi — và không có gì báo cho bạn biết.

Bộ ca chuẩn là một phần của đặc tả, không phải việc của QA

Đây là thay đổi về vai trò mà nhiều tổ chức chưa nhận ra: với hệ thống không tất định, bộ ca chuẩn chính là bản đặc tả. Nó không phải thứ QA làm sau khi có code — nó là thứ BA và PO tạo ra trước khi có code.

Nguyên tắc lấy ca: lấy từ dữ liệu thật, chọn ngẫu nhiên. Ca tự nghĩ ra luôn sạch sẽ và dễ hơn thực tế — đó là lý do hệ thống chạy tốt lúc demo và hỏng khi ra thật.

Về việc hai người gán nhãn độc lập: nếu hai chuyên gia chỉ đồng ý với nhau 75% số ca, thì kỳ vọng máy đạt 95% là vô lý. Mức đồng thuận giữa người với người là trần thực tế của bài toán, và biết con số đó trước sẽ tránh được một cuộc tranh cãi rất dài về sau.

Nghiệm thu — ai ký, và ký vào cái gì

Dòng đầu tiên là thay đổi lớn nhất về tổ chức. QA không thể tự quyết "85% có đạt không", vì đó không phải câu hỏi kỹ thuật — nó là câu hỏi về mức rủi ro mà doanh nghiệp chấp nhận. Để QA quyết một mình là đặt gánh nặng sai chỗ.

Hiccups thường gặp và cách xử lý

Vì sao vai trò của bạn cần cái này

Definition of done

• Tiêu chí tách rõ ba loại: bất biến, ngưỡng, dải hành vi.
• Mọi thứ còn tất định được viết thành bất biến và kiểm như phần mềm thường.
• Ngưỡng đặt theo nhóm ca, và có ngưỡng riêng cho loại sai nguy hiểm.
• Có dải hành vi cho tình huống hệ thống không chắc.
• Bộ ca chuẩn lấy từ dữ liệu thật, có 10–15% ca mà đáp án đúng là "không biết".
• Đã đo mức đồng thuận giữa hai người gán nhãn để biết trần thực tế.
• Có điều kiện giữ ngưỡng theo thời gian và lịch đo lại.
• Người chịu trách nhiệm kinh doanh đã ký vào ngưỡng, không phải QA tự quyết.