Vì sao bộ ca kiểm là việc của BA
Nghe như việc của QA hoặc của đội AI. Không phải, vì bộ ca kiểm là nơi định nghĩa "đúng" được ghi ra. Với mỗi ca, phải có một đáp án được coi là đúng — và ai quyết định đáp án đúng cho một hoá đơn, một câu hỏi khách hàng, một hồ sơ vay? Người hiểu nghiệp vụ. Đó là bạn.
Hệ quả thực tế: nếu BA không làm bộ ca, đội kỹ thuật sẽ tự làm, và họ sẽ chọn những ca họ hiểu — tức là những ca dễ, rõ ràng, không mơ hồ. Bộ ca đó sẽ báo tỉ lệ cao và hệ thống vẫn vỡ ở vận hành thật.
Bộ ca tối thiểu dùng được
| Thành phần | Quy mô tối thiểu | Ghi chú |
|---|---|---|
| Ca thật, lấy từ dữ liệu vận hành | 150–200 | Không phải ca bạn tự nghĩ ra |
| Chia nhóm theo độ khó | 3 nhóm | Kèm tỉ trọng thực tế của mỗi nhóm |
| Đáp án đúng cho mỗi ca | Mọi ca | Người hiểu nghiệp vụ điền, không phải máy |
| Ca khó cố ý | 20–30 | Ca người cũng phải nghĩ; xem bên dưới |
| Ca ngoài phạm vi | 10–15 | Để kiểm nó biết từ chối |
Về quy mô: 150 ca là mức tối thiểu để một khác biệt 5 điểm phần trăm có nghĩa. Dưới 50 ca, khác biệt bạn thấy phần lớn là ngẫu nhiên, và bạn sẽ ra quyết định dựa trên nhiễu.
Ba nguồn ca, theo thứ tự giá trị
- Log vận hành thật. Nguồn tốt nhất, luôn dùng đầu tiên. Lấy 200 ca gần nhất, không chọn lọc — kể cả ca xấu, ca thiếu, ca người dùng làm sai.
- Ca đã gây khiếu nại hoặc sự cố. Mỗi lần có khiếu nại, thêm ca đó vào bộ. Đây là cách bộ ca tự lớn lên và trở thành tài sản.
- Ca bạn tự nghĩ ra. Dùng cuối, và chỉ để phủ những tình huống chưa xảy ra nhưng chắc chắn sẽ xảy ra. Đừng xây cả bộ ca theo cách này.
Ca khó cố ý: nơi giá trị nằm
Bộ ca toàn ca rõ ràng thì mọi phương án đều đạt điểm cao và bạn không phân biệt được gì. Giá trị nằm ở ca khó. Bốn loại đáng có:
| Loại | Ví dụ với hoá đơn | Nó kiểm điều gì |
|---|---|---|
| Mơ hồ thật | Hoá đơn có hai dòng tổng khác nhau | Nó có nhận ra mơ hồ, hay chọn bừa một cái? |
| Thiếu thông tin | Ảnh bị cắt mất phần MST | Nó có nói thiếu, hay đoán? |
| Gần giống nhưng khác | Phiếu thu, không phải hoá đơn VAT | Nó có phân biệt được? |
| Đúng nhưng lạ | Hoá đơn hợp lệ với tổng 0 đồng | Nó có từ chối oan? |
Cách ghi đáp án đúng
Hai cột là không đủ. Bốn cột:
| Cột | Nội dung |
|---|---|
| Đầu vào | Đường dẫn file, hoặc nội dung câu hỏi |
| Nhóm | A / B / C, và có trong phạm vi hay không |
| Đáp án đúng | Giá trị cụ thể, hoặc "không xác định được — phải chuyển người" |
| Vì sao | Một dòng. Bắt buộc với ca khó |
Bộ ca là tài liệu được bảo trì, không phải việc làm một lần
Ba quy tắc giữ nó sống:
- Mỗi khiếu nại thật thành một ca mới. Đây là quy tắc quan trọng nhất, và nó biến bộ ca thành tài sản tích luỹ.
- Không sửa đáp án để hệ thống pass. Nếu cần sửa đáp án, phải có lý do nghiệp vụ và ghi vào cột "Vì sao". Sửa đáp án cho khớp đầu ra là cách bộ ca chết lặng lẽ.
- Xem lại tỉ trọng nhóm mỗi quý. Lưu lượng thật thay đổi; nếu nhóm C từ 10% lên 30%, mọi ngưỡng cũ đều sai.
Bộ ca cũng bảo vệ bạn về mặt tổ chức
Một lợi ích ít được nói: khi có tranh luận "hệ thống có đủ tốt chưa", bộ ca biến một cuộc tranh luận về cảm giác thành một bảng số mà mọi người cùng đọc. Người phản đối không còn nói "tôi thấy nó sai nhiều" — họ phải chỉ vào ca cụ thể. Và nếu ca đó không có trong bộ, nó được thêm vào, và cuộc tranh luận chuyển thành việc làm.
Đây là lý do nên xây bộ ca trước khi có xung đột, không phải sau.
Làm ngay
Xuất 200 ca gần nhất từ log vận hành, chia 3 nhóm, và bắt đầu điền đáp án đúng cho 50 ca đầu — kèm cột "Vì sao" cho ca nào bạn phải nghĩ hơn 30 giây. Số ca bạn phải nghĩ lâu chính là tập ca khó của bạn, và nó đáng giá hơn 150 ca còn lại.