Bài 5 — Kiểm chứng số liệu: đừng để AI khiến bạn báo cáo sai

Bối cảnh & vấn đề của bạn

Rủi ro lớn nhất của PM khi dùng AI không phải là chậm — mà là tự tin báo cáo con số sai. AI trả lời trôi chảy, nghe rất thuyết phục, khiến bạn hạ thấp cảnh giác. Một con số retention sai đưa vào quyết định roadmap có thể tốn hàng tháng công sức. Bài này biến "kiểm chứng" thành thói quen.

AI giúp được gì (và giúp bạn kiểm tra chính nó)

Nghịch lý: AI vừa là nguồn rủi ro vừa là công cụ kiểm chứng. Bạn có thể dùng AI để:

• Soát định nghĩa metric: công thức có khớp ý định không.
• Đối chiếu chéo: tính cùng metric bằng 2 cách khác nhau, so kết quả.
• Phát hiện bất thường: con số này có khớp thứ nguyên/độ lớn hợp lý không.
• Giải thích lại SQL: nhờ AI diễn giải truy vấn của chính nó bằng lời để bạn bắt lỗi logic.

Ví dụ cụ thể

AI báo "tỷ lệ chuyển đổi 34%". Bạn nghi ngờ vì thường chỉ ~8%. Bạn nhờ AI giải thích lại SQL: hóa ra mẫu số dùng "số phiên có sự kiện add_to_cart" thay vì "tổng số phiên" → tỷ lệ bị thổi phồng. Bạn sửa mẫu số, con số về 7.9% — khớp lịch sử. Nếu tin ngay 34%, bạn đã báo cáo một cú "tăng trưởng" không có thật.

Prompt mẫu — kiểm chứng chéo

Đây là truy vấn AI đã sinh cho metric "tỷ lệ chuyển đổi":
[dán SQL]

Hãy:
1) Giải thích bằng lời TỬ SỐ và MẪU SỐ thực tế đang tính là gì.
2) Chỉ ra 3 cách con số này có thể SAI (mẫu số sai, đếm trùng, lọc thời gian).
3) Đề xuất 1 cách tính ĐỘC LẬP khác cho cùng metric để đối chiếu.
4) Nêu "khoảng giá trị hợp lý" dự kiến; nếu kết quả lệch nhiều thì cảnh báo.
Đừng khẳng định con số đúng; hãy nghi ngờ có hệ thống.

Các bước làm

• Với mỗi con số quan trọng, viết ra định nghĩa mong muốn (tử số / mẫu số / cửa sổ).
• Nhờ AI giải thích lại truy vấn bằng lời; so với định nghĩa mong muốn.
• Tính lại metric bằng phương pháp độc lập (công cụ khác, cách JOIN khác); kết quả phải gần nhau.
• Sanity check độ lớn: con số có nằm trong khoảng hợp lý lịch sử?
• Kiểm biên: tổng các segment có bằng tổng chung? Tỷ lệ có nằm trong [0,100%]?
• Chỉ báo cáo khi qua hết các cửa; nếu không, ghi rõ "số ước lượng, cần xác minh".

Template tái dùng — Checklist kiểm chứng số liệu

[ ] Định nghĩa tử số / mẫu số / cửa sổ thời gian viết rõ ràng
[ ] AI giải thích lại SQL khớp với định nghĩa
[ ] Tính lại bằng phương pháp độc lập → lệch < 2%
[ ] Độ lớn hợp lý so với lịch sử
[ ] Tổng segment = tổng chung (không rò/không trùng)
[ ] Tỷ lệ nằm trong [0, 100%]; không có giá trị âm vô lý
[ ] Đã loại bot/nội bộ/test
[ ] Ghi nguồn & ngày dữ liệu

Sai lầm thường gặp

• Tin sự trôi chảy = đúng. AI viết rất tự tin ngay cả khi sai. Sự tự tin KHÔNG phải bằng chứng.
• Ảo giác con số. Nếu bạn hỏi metric mà không cung cấp dữ liệu, AI có thể "đoán" ra một con số cụ thể trông thật. Không bao giờ dùng số AI tự nghĩ ra làm số báo cáo.
• Chỉ kiểm một lần. Metric đúng hôm nay có thể sai tuần sau do đổi pipeline. Kiểm định kỳ.
• Bỏ qua kiểm biên đơn giản. Tỷ lệ 130% hay tổng segment > tổng chung là dấu hiệu đếm trùng rõ ràng — dễ bắt nếu bạn chịu nhìn.
• Phụ thuộc quá mức, mất kỹ năng. Nếu không bao giờ tự hiểu con số, dần dần bạn mất khả năng phản biện — nguy hiểm cho một PM. Giữ thói quen tự diễn giải.

Kết bài: bạn đã có tuyến phòng thủ. Bài 6 nâng cấp lên tự động hóa bằng AI-agent.