Bài 6 — Kiểm chứng kết quả: chống ảo giác, đảm bảo con số đáng tin

Vấn đề

Đây là bài quan trọng nhất khóa học. AI có thể sinh SQL sai âm thầm (chạy được nhưng đếm nhầm), bịa số khi phân tích, hoặc diễn giải nguyên nhân không có thật. Nếu bạn đưa con số sai lên cuộc họp lãnh đạo, thiệt hại là uy tín và cả quyết định kinh doanh. BA dùng AI phải là người kiểm chứng chuyên nghiệp, không phải người sao chép kết quả.

Bốn lớp kiểm chứng (Verification Stack)

• Đọc hiểu logic: bạn có hiểu query/phân tích AI làm gì không? Nếu không, chưa được dùng.
• Kiểm tra biên (sanity check): con số có hợp lý không? (Doanh thu 1 ngày = 500 tỷ trong khi công ty làm 2 tỷ/tháng → sai chắc chắn.)
• Đối chiếu chéo (cross-check): tính lại bằng cách khác — Excel, một query đơn giản hơn, hoặc con số đã biết.
• Kiểm mẫu (spot check): lấy 3-5 dòng, tự kiểm bằng tay xem có thỏa điều kiện không.

Ví dụ prompt tự-kiểm chứng

Bắt chính AI phản biện kết quả của nó:

Đây là query bạn vừa viết và kết quả (dán lại).
Hãy đóng vai người review khó tính:
Liệt kê 3 lỗi logic có thể khiến con số này SAI (vd: JOIN nhân đôi dòng, quên lọc status, tính trùng).
Với mỗi lỗi, viết 1 query kiểm tra nhanh để xác nhận có dính lỗi đó không.
Đề xuất 1 cách tính ĐỘC LẬP khác để đối chiếu cùng con số.

Kỹ thuật này cực mạnh: dùng AI để bắt lỗi chính nó, nhưng quyết định cuối vẫn là của bạn.

Bẫy kinh điển: JOIN nhân đôi

Một lỗi khiến số liệu phình to mà trông vẫn "chạy đúng": khi JOIN với bảng có nhiều dòng khớp (vd một đơn có nhiều dòng sản phẩm), SUM(amount) bị đếm trùng. Luôn hỏi:

Query này có JOIN bảng nào 1-nhiều không? Nếu có, kiểm tra xem SUM/COUNT có bị nhân đôi.
So sánh tổng số dòng trước và sau JOIN.

Các bước kiểm chứng chuẩn

• Yêu cầu AI giải thích từng phần cho tới khi bạn hiểu.
• Sanity check bằng kiến thức nghiệp vụ (con số có nằm trong khoảng hợp lý?).
• Cross-check một con số bằng công cụ/cách thứ hai.
• Spot check vài dòng dữ liệu thô.
• Ép AI tự phản biện và tìm lỗi tiềm ẩn.
• Ghi lại giả định & nguồn để bảo vệ con số khi bị chất vấn.

Template: Nhật ký kiểm chứng (đính kèm mỗi báo cáo)

[CON SỐ]: <giá trị + đơn vị>
[NGUỒN]: <query/file + ngày lấy>
[ĐỊNH NGHĨA]: <cách tính chính xác, các bộ lọc>
[SANITY]: hợp lý vì <so với mốc nào>
[CROSS-CHECK]: đối chiếu bằng <cách 2> → khớp/lệch <bao nhiêu>
[SPOT CHECK]: kiểm <n> dòng → đúng
[GIẢ ĐỊNH & RỦI RO]: <những chỗ chưa chắc>

Có nhật ký này, bạn trả lời được mọi câu hỏi "con số này ở đâu ra?" — đó là đẳng cấp BA chuyên nghiệp.

Sai lầm thường gặp

• Tin query vì nó chạy không lỗi: chạy được ≠ đúng. Lỗi logic (quên lọc, JOIN trùng) không báo lỗi.
• Ảo giác con số khi phân tích văn bản: AI "đọc" bảng dán dạng text có thể đếm sai. Ưu tiên tính bằng code và spot check.
• Bỏ qua định nghĩa nghiệp vụ: hai con số "khách hàng active" khác nhau vì định nghĩa khác nhau, không phải vì sai. Luôn ghi định nghĩa.
• Phụ thuộc quá mức, mất khả năng phản biện: nếu bạn không tự kiểm được, bạn đang giao quyền quyết định cho một cỗ máy có thể sai. Giữ vai trò kiểm soát.
• Không lưu vết: khi bị hỏi lại sau 2 tuần, không nhớ đã tính thế nào → mất uy tín. Nhật ký kiểm chứng giải quyết việc này.

Checklist kết bài

• [ ] Tôi hiểu được logic AI đã dùng.
• [ ] Đã sanity + cross + spot check.
• [ ] Đã ép AI tự tìm lỗi.
• [ ] Đã ghi Nhật ký kiểm chứng kèm báo cáo.