Bối cảnh
Đây là nỗi sợ số 1 của PM: "Cần bao nhiêu người và chạy bao lâu?". Tính sai làm bạn dừng test quá sớm (kết luận sai) hoặc chạy vô tận (lãng phí traffic). Cỡ mẫu phụ thuộc 4 yếu tố: baseline conversion, MDE (mức cải thiện tối thiểu muốn phát hiện), độ tin cậy (thường 95%), và power (thường 80%). AI biến bài toán thống kê này thành hội thoại vài phút.
Bốn tham số bạn cần chuẩn bị
- Baseline: tỷ lệ chuyển đổi hiện tại (lấy từ analytics thật).
- MDE: cải thiện nhỏ nhất đáng để launch. Nếu chỉ tăng 0.1% mà tốn công triển khai thì không đáng — đặt MDE thực tế.
- Độ tin cậy (1 - alpha): mặc định 95%.
- Power (1 - beta): mặc định 80%.
Ví dụ cụ thể
Landing page có baseline đăng ký 5%. Bạn muốn phát hiện cải thiện tương đối 10% (tức từ 5% lên 5.5%). Traffic khoảng 2.000 khách/ngày, chia đôi mỗi nhánh 1.000.
Prompt mẫu
Bạn là chuyên gia thống kê thử nghiệm. Tính cỡ mẫu cho A/B test.
Thông số:
- Baseline conversion: 5%
- MDE: phát hiện cải thiện tương đối 10% (tức lên 5.5%)
- Độ tin cậy: 95% (two-sided)
- Power: 80%
- Traffic: 2000 khách/ngày, chia đều 2 nhánh
Yêu cầu:
1. Cỡ mẫu cần cho MỖI nhánh (nêu công thức bạn dùng).
2. Số ngày cần chạy tối thiểu.
3. Khuyến nghị chạy tròn số tuần để tránh hiệu ứng ngày trong tuần.
4. Nếu MDE đổi thành 20%, cỡ mẫu thay đổi ra sao?
Tiếng Việt, chỉ rõ giả định.
AI sẽ trả về khoảng ~31.000 mẫu/nhánh cho MDE 10%, tương đương ~31 ngày, và khuyên chạy tròn 4-5 tuần. Với MDE 20%, cỡ mẫu giảm khoảng 4 lần. Luôn yêu cầu AI nêu công thức để bạn kiểm tra được, và đối chiếu bằng 1 công cụ calculator online cho chắc.
Các bước làm
- Lấy baseline thật từ analytics (đừng để AI đoán).
- Quyết định MDE thực tế theo giá trị kinh doanh, không theo cảm tính.
- Đưa 4 tham số vào prompt trên.
- Yêu cầu AI nêu công thức và giả định.
- Kiểm tra chéo bằng 1 sample size calculator online (Evan Miller, Optimizely).
- Làm tròn thời lượng lên bội số tuần.
- Chốt ngày bắt đầu và ngày được phép đọc kết quả (không đọc trước).
Template: Bảng thông số cỡ mẫu
[BASELINE]: ____%
[MDE tương đối]: ____% → tuyệt đối: từ ___% lên ___%
[ĐỘ TIN CẬY]: 95%
[POWER]: 80%
[CỠ MẪU / NHÁNH]: ______
[TRAFFIC/NGÀY/NHÁNH]: ______
[SỐ NGÀY TỐI THIỂU]: ______
[LÀM TRÒN]: ___ tuần
[NGÀY BẮT ĐẦU]: ______
[NGÀY ĐƯỢC ĐỌC KẾT QUẢ]: ______ (KHÔNG đọc trước ngày này)
Sai lầm thường gặp
- Đặt MDE quá nhỏ: đòi phát hiện cải thiện 1% khiến bạn cần hàng trăm nghìn mẫu, không khả thi. Đặt MDE theo ngưỡng đáng launch.
- Để AI tự bịa baseline (ảo giác): nếu bạn không đưa số thật, AI sẽ tạo con số nghe hợp lý mà sai hoàn toàn. Cỡ mẫu sai theo.
- Chạy không đủ tuần: bỏ qua hiệu ứng cuối tuần, ngày lễ khiến mẫu bị lệch. Luôn tròn tuần.
- Không kiểm tra chéo: AI có thể dùng sai công thức (one-sided vs two-sided). Đối chiếu bằng calculator độc lập.
- Rò rỉ dữ liệu traffic thật: con số traffic tuyệt đối là thông tin nhạy cảm với đối thủ. Dùng số tương đối hoặc làm mờ khi hỏi AI công cộng.
- Phụ thuộc quá mức: hiểu ý nghĩa 4 tham số, đừng chỉ copy con số cuối. Khi sếp hỏi "vì sao 4 tuần", bạn phải trả lời được.