Mô tả cách bạn thiết kế một A/B test cho tính năng checkout mới.

Một sai lầm phổ biến là kết luận quá sớm khi thấy kết quả dương tính ban đầu — đây là peeking problem. Tôi thiết lập ngay từ đầu rằng sẽ không đọc kết quả cho đến ngày kết thúc đã định, hoặc dùng sequential testing methods nếu cần early stopping. Tôi cũng segment kết quả theo device type và user cohort để phát hiện heterogeneous effects.

Tôi bắt đầu bằng hypothesis rõ ràng: 'Nếu rút gọn checkout từ 4 bước xuống 2 bước, conversion rate sẽ tăng ít nhất 5%'. Sau đó tôi tính sample size cần thiết để đạt 80% statistical power với significance level 95%. Với conversion rate baseline 8% và minimum detectable effect 5%, chúng tôi cần khoảng 10,000 sessions mỗi variant — tương đương 2 tuần traffic.

Tôi chia user thành control và treatment bằng user_id hash để đảm bảo consistent experience. Primary metric là checkout conversion rate. Guardrail metrics là average order value và time to complete. Tôi chạy test tối thiểu 2 tuần để cover full weekly cycle và tránh novelty effect tuần đầu.