Thay đổi hành vi khác thay đổi giao diện ở đâu
Thử nghiệm một màu nút có thể đọc kết quả sau vài ngày. Thử nghiệm một thay đổi hành vi thì không. Có ba lý do:
- Hành vi cần thời gian để ổn định. Tuần đầu, người dùng phản ứng với cái mới. Hiệu ứng mới lạ làm số liệu đẹp hơn thực tế, rồi nhạt dần.
- Thay đổi hành vi có tác dụng phụ. Mỗi thay đổi tăng một hành vi có thể tăng cả hối hận, khiếu nại, hoàn tiền. Chỉ nhìn chỉ số chính thì không thấy.
- Trung bình che phân khúc. Một lời nhắc giúp người mới có thể làm phiền người dùng lâu năm. Trung bình tổng có thể trông ổn trong khi một nhóm đang rời đi.
Ba loại chỉ số, đặt trước khi chạy
| Loại | Vai trò | Quy tắc |
|---|---|---|
| Chỉ số chính | Hành vi bạn muốn thay đổi | Chỉ một; viết trước khi chạy |
| Chỉ số phụ | Giúp hiểu vì sao chỉ số chính thay đổi | Vài chỉ số; không dùng để tuyên bố thắng |
| Chỉ số bảo vệ | Điều không được xấu đi | Ít nhất một; kèm ngưỡng dừng viết trước |
Thử nghiệm 1 — luồng thanh toán đơn đầu
Mỗi tháng có 27.000 người mới bắt đầu thanh toán. Thử nghiệm chạy 4 tuần, chia đôi: khoảng 13.500 người mỗi nhóm.
| Chỉ số | Loại | Đối chứng | Thiết kế mới | Ngưỡng dừng |
|---|---|---|---|---|
| Tỉ lệ hoàn tất thanh toán | Chính | 77,8% (10.500 đơn) | 85,0% (11.475 đơn) | không áp dụng |
| Thời gian thanh toán trung vị | Phụ | 3 phút 40 giây | 1 phút 50 giây | không áp dụng |
| Đơn giao thất bại vì sai địa chỉ | Bảo vệ | 1,9% | 2,2% | 3% |
| Đơn huỷ trong 10 phút sau khi đặt | Bảo vệ | 3,1% | 3,4% | 5% |
| Ticket về thanh toán trên 1.000 đơn | Bảo vệ | 4,0 | 3,6 | 6,0 |
| Đặt đơn thứ hai trong 14 ngày | Bảo vệ | 35% | 34% | 30% |
- Chỉ số chính đạt đúng mục tiêu 85%. Với cả 27.000 người một tháng, đó là 1.950 đơn đầu thêm, như phép tính ở bài 2.
- Đơn giao thất bại vì sai địa chỉ tăng từ 1,9% lên 2,2%. Xấu đi, nhưng vẫn dưới ngưỡng 3% đã đặt trước. Quyết định: triển khai, và Vy tiếp tục theo dõi chỉ số này hằng tuần sau triển khai. Đức thêm bước xác nhận toà nhà khi gợi ý địa chỉ có độ tin thấp.
- Chỉ số bảo vệ cuối cùng quan trọng hơn vẻ ngoài của nó. Nếu luồng dễ hơn chỉ kéo thêm người ít nhu cầu, tỉ lệ đặt đơn thứ hai sẽ giảm mạnh. Nó giảm 1 điểm — chấp nhận được.
Thử nghiệm 2 — thời điểm nhắc Giỏ hằng tuần
Thói quen chỉ thấy được sau nhiều chu kỳ, nên thử nghiệm này chạy 8 tuần. Đối chứng giữ lời nhắc 9 giờ sáng thứ hai; nhóm thử nghiệm nhận lời nhắc 1 giờ trước thời điểm họ hay đặt.
| Chỉ số | Loại | Đối chứng | Nhắc theo lịch người dùng | Ngưỡng dừng |
|---|---|---|---|---|
| Đặt ít nhất 3 trong 4 tuần | Chính | 30% | 37% | không áp dụng |
| Tỉ lệ mở lời nhắc | Phụ | 2,1% | 7,4% | không áp dụng |
| Tắt thông báo mỗi tháng | Bảo vệ | 1,8% | 1,5% | 2,5% |
| Đơn Giỏ hằng tuần bị huỷ trước giao | Bảo vệ | 2,4% | 2,6% | 4% |
| Tuần | Chênh lệch |
|---|---|
| Tuần 1 | +12 điểm |
| Tuần 2 | +10 điểm |
| Tuần 4 | +8 điểm |
| Tuần 8 | +7 điểm |
Tách theo phân khúc, Vy thấy người tạo giỏ trong 3 tháng gần đây tăng 9 điểm, người dùng lâu năm tăng 4 điểm. Không nhóm nào giảm, và tỉ lệ tắt thông báo còn giảm — lời nhắc đúng lúc ít gây phiền hơn lời nhắc sai lúc.
Sau số liệu, nói chuyện với người dùng
Số liệu nói hành vi đã đổi. Nó không nói người dùng thấy được giúp hay thấy bị thao túng. Sau mỗi thử nghiệm hành vi, Mai gọi năm cuộc ngắn cho người trong nhóm thử nghiệm. Với lời nhắc mới, câu hay gặp nhất là "Nó nhắc đúng lúc tôi đang định đặt" — dấu hiệu lời nhắc đã gắn vào khoảnh khắc nhu cầu thật.
Cách thiết kế thử nghiệm, tính cỡ mẫu và đọc ý nghĩa thống kê có trong kỹ năng A/B Testing & Experimentation.
Làm ngay
Chọn thay đổi hành vi tiếp theo đội bạn định thử. Trước khi chạy, viết một chỉ số chính, hai chỉ số phụ, và ít nhất hai chỉ số bảo vệ kèm ngưỡng dừng bằng số. Xác định một chu kỳ nhu cầu của sản phẩm bạn (một tuần, một kỳ lương, một tháng) và đặt thời gian chạy ít nhất bằng bốn chu kỳ đó. Chọn hai phân khúc sẽ đọc riêng. Gửi bản này cho data analyst trước khi thử nghiệm bắt đầu, không phải sau.