Bối cảnh
Bạn đã có giả thuyết và cỡ mẫu chuẩn. Nhưng nếu khâu chạy sai, mọi thứ đổ bể. Những lỗi vận hành âm thầm — chia nhóm lệch, một người thấy cả hai phiên bản, đếm trùng — làm dữ liệu "bẩn" mà bạn không hề hay. AI đóng vai kiểm định viên: rà soát thiết kế chạy trước khi bạn bấm nút, và giải thích các khái niệm như sample ratio mismatch bằng ngôn ngữ PM.
Những nguyên tắc chạy test
- Randomization đúng: mỗi user được gán ngẫu nhiên và ổn định (cùng user luôn thấy cùng nhánh). Gán theo user ID, không theo session.
- Đơn vị nhất quán: nếu chia theo user thì đo theo user, không lẫn lộn đo theo session.
- Cách ly nhánh: user nhóm A không được vô tình thấy trải nghiệm B (rò rỉ qua chia sẻ link, cùng thiết bị).
- SRM check (Sample Ratio Mismatch): nếu chia 50/50 mà thực tế nhận 55/45, có lỗi kỹ thuật — dữ liệu không đáng tin.
Ví dụ cụ thể
Bạn chạy test nút CTA trên web. Sau 3 ngày, nhánh A có 12.000 user, nhánh B có 9.500. Bạn định chia 50/50. Đây là dấu hiệu SRM.
Prompt mẫu
Bạn là kiểm định viên A/B test. Tôi mô tả thiết lập, hãy soi lỗi.
Thiết lập:
- Chia 50/50 theo cookie trình duyệt
- Nhánh A: 12000 user, Nhánh B: 9500 user sau 3 ngày
- Đo tỷ lệ click, tính theo lượt truy cập (session)
- User đăng nhập nhiều thiết bị
Hãy chỉ ra:
1. Có dấu hiệu Sample Ratio Mismatch không? Vì sao đáng lo?
2. Vấn đề khi chia theo cookie thay vì user ID là gì?
3. Rủi ro khi đo theo session nhưng chia theo cookie?
4. Checklist 5 điểm tôi phải kiểm tra trước khi tin kết quả.
Tiếng Việt.
AI sẽ chỉ ra: tỷ lệ 12000/9500 lệch xa 50/50 → nghi SRM (có thể do bot, lỗi phân nhánh, hoặc cookie bị xóa). Chia theo cookie khiến cùng một người xóa cookie thành 2 user, và đăng nhập đa thiết bị làm trùng lặp. Đo theo session trong khi phân theo cookie gây lệch đơn vị phân tích.
Các bước làm
- Xác định đơn vị randomization (ưu tiên user ID đăng nhập).
- Đảm bảo gán nhánh ổn định và ghi log để audit.
- Chạy SRM check sau 1-2 ngày đầu (so tỷ lệ thực tế với dự kiến).
- Kiểm tra rò rỉ chéo: cùng user có thể thấy 2 phiên bản không?
- Loại bot và traffic nội bộ (nhân viên, QA) khỏi dữ liệu.
- Dùng prompt trên để AI rà soát toàn bộ thiết lập trước khi tin số.
Checklist chạy test sạch
[ ] Randomization theo user ID ổn định (không theo session/cookie dễ mất)
[ ] Đơn vị phân nhánh = đơn vị phân tích
[ ] SRM check: tỷ lệ thực tế khớp tỷ lệ dự kiến (sai lệch < 1%)
[ ] Không có rò rỉ chéo giữa các nhánh
[ ] Đã loại bot, QA, traffic nội bộ
[ ] Tracking event đã QA trên cả 2 nhánh (không sót log)
[ ] Không thay đổi thiết lập giữa chừng khi test đang chạy
Sai lầm thường gặp
- Chia theo session/cookie: cùng người thành nhiều "user", làm nhiễu kết quả và phá SRM.
- Bỏ qua SRM: đây là báo động đỏ. Nếu tỷ lệ lệch, đừng đọc kết quả — sửa lỗi kỹ thuật trước.
- Rò rỉ chéo: A/B test tính năng có thể lan qua chia sẻ, khiến nhóm control cũng dùng tính năng mới.
- AI trấn an sai (ảo giác): AI có thể nói "thiết lập ổn" dù thiếu thông tin. Ép nó liệt kê giả định và điều kiện cần kiểm tra thay vì kết luận vội.
- Rò rỉ dữ liệu: đừng dán log thô chứa ID người dùng thật vào AI. Mô tả cấu trúc, không dán dữ liệu định danh.
- Đổi thiết lập giữa chừng: thay đổi phân bổ traffic khi đang chạy làm hỏng tính ngẫu nhiên. Nếu phải đổi, coi như bắt đầu test mới.