Tương quan không phải nhân quả, và điều đó tốn tiền thật
"Người dùng tính năng X giữ chân cao hơn 40 phần trăm" là một câu thường được dùng để biện minh cho việc đầu tư vào X. Nhưng có thể người vốn đã gắn bó mới đi tìm tính năng X. Đẩy X cho mọi người sẽ không tạo ra kết quả tương tự.
Chỉ có ba cách biết nhân quả: thí nghiệm ngẫu nhiên, các phương pháp bán thực nghiệm khi không thể ngẫu nhiên, hoặc lý thuyết cơ chế đủ mạnh kèm bằng chứng gián tiếp.
Thí nghiệm A/B: bốn thứ quyết định trước khi chạy
- Giả thuyết cụ thể — thay đổi gì, tác động lên chỉ số nào, theo hướng nào, bao nhiêu.
- Chỉ số chính duy nhất — chọn trước. Chọn sau khi thấy kết quả là cách tự lừa mình.
- Cỡ mẫu và thời gian chạy — tính trước bằng công cụ tính cỡ mẫu. Dừng sớm khi thấy kết quả đẹp là lỗi phổ biến nhất và nghiêm trọng nhất.
- Chỉ số đối trọng — thứ bạn không muốn xấu đi khi tối ưu chỉ số chính.
Ba lỗi làm hỏng kết quả
- Nhìn liên tục rồi dừng khi có ý nghĩa thống kê. Nếu kiểm tra mỗi ngày và dừng khi p nhỏ hơn 0,05, bạn sẽ tìm thấy kết quả "có ý nghĩa" cho những thay đổi hoàn toàn vô tác dụng.
- Chạy quá ngắn. Hành vi khác nhau theo ngày trong tuần. Chạy ít nhất một chu kỳ đầy đủ, thường là một tới hai tuần.
- Nhiều thí nghiệm chồng lên nhau không kiểm soát, khiến không biết tác động đến từ đâu.
Khi không thể chạy A/B
Nhiều thay đổi quan trọng không A/B được: đổi giá cho toàn thị trường, thay đổi thương hiệu, tính năng cần hiệu ứng mạng. Ba lựa chọn:
- Triển khai theo giai đoạn theo vùng hoặc nhóm, so sánh trước sau với nhóm chưa triển khai.
- So sánh trước sau có nhóm đối chứng tự nhiên — một phân khúc tương tự không bị ảnh hưởng.
- Chấp nhận quyết định dựa trên phán đoán, nhưng viết ra dự đoán trước và đối chiếu sau. Việc này cải thiện chất lượng phán đoán theo thời gian, kể cả khi không có bằng chứng nhân quả.
Ý nghĩa thống kê không phải ý nghĩa thực tiễn
Một kết quả có ý nghĩa thống kê nhưng cải thiện 0,3 phần trăm có thể không đáng chi phí triển khai và bảo trì. Luôn hỏi: mức cải thiện tối thiểu đáng để làm là bao nhiêu, và đặt câu hỏi đó trước khi chạy.
Sai lầm thường gặp
- Dùng tương quan để biện minh đầu tư.
- Chọn chỉ số chính sau khi thấy kết quả.
- Dừng thí nghiệm sớm khi thấy số đẹp.
- Bỏ qua khác biệt giữa ý nghĩa thống kê và ý nghĩa thực tiễn.
Checklist kết bài
- [ ] Tôi phân biệt được tương quan và nhân quả trong các lập luận đầu tư.
- [ ] Tôi chọn chỉ số chính và cỡ mẫu trước khi chạy.
- [ ] Tôi chạy đủ ít nhất một chu kỳ tuần đầy đủ.
- [ ] Tôi đặt mức cải thiện tối thiểu đáng làm từ trước.
Bốn sai lầm giết kết quả thí nghiệm
| Sai lầm | Hậu quả | Cách tránh |
|---|---|---|
| Nhìn kết quả liên tục rồi dừng khi thắng | Tỉ lệ dương tính giả tăng vọt | Chốt thời gian chạy trước, không nhìn sớm |
| Chọn chỉ số sau khi thấy dữ liệu | Luôn tìm được một chỉ số "thắng" | Chốt chỉ số chính trước, ghi lại |
| Cỡ mẫu quá nhỏ | Kết quả là nhiễu | Tính cỡ mẫu cần trước khi chạy |
| Bỏ qua tác động lên chỉ số khác | Thắng ở một chỗ, hại ở chỗ khác | Luôn theo dõi chỉ số canh gác |
Khi không thể chạy thí nghiệm ngẫu nhiên
Nhiều thay đổi không chia nhóm được: đổi giá cho mọi người, ra mắt tính năng cần hiệu ứng mạng, thay đổi thương hiệu. Ba cách thay thế:
- So sánh trước–sau có nhóm đối chứng — dùng một thị trường hoặc phân khúc không bị tác động làm mốc.
- Triển khai theo giai đoạn — mở dần theo khu vực, so vùng đã mở với vùng chưa.
- Phân tích ngưỡng — khi có một ranh giới tự nhiên (ví dụ chính sách áp dụng từ một mức chi tiêu), so hai bên ranh giới đó.
Đọc kết quả cho đúng
Ba câu hỏi trước khi kết luận:
- Kết quả có đủ lớn để đáng làm không? Tăng 0,3% có ý nghĩa thống kê vẫn có thể không đáng chi phí triển khai và bảo trì.
- Nó đồng nhất giữa các phân khúc không? Một thắng lợi tổng thể có thể che giấu việc nó làm hại một nhóm quan trọng.
- Có chỉ số canh gác nào xấu đi không?
Làm ngay
Lấy thí nghiệm gần nhất của đội bạn. Kiểm bốn sai lầm ở trên. Nếu chỉ số chính không được chốt bằng văn bản trước khi chạy, kết quả đó kém tin cậy hơn bạn nghĩ. <!--/les-append-->
<!--case-append-->
Áp dụng vào Căng tin số
Bản tổng kết dễ viết nhất sau bốn tuần là: "Xếp hàng giảm từ 21 xuống 17 phút, suất bỏ đi giảm từ 40 xuống 26, email phàn nàn giảm từ 25 xuống 14. App có hiệu quả." Mọi con số đều thật. Nhưng đó là một so sánh trước–sau thuần, đúng loại bằng chứng mà bài học cảnh báo.
Hãy kể tên những thứ khác cũng thay đổi cùng lúc:
- Thời điểm khác. Đường cơ sở đo trong 2 tuần trước khi ra mắt; chạy thử là 4 tuần sau đó. Lịch học, thời tiết, số người ở lại trường đều có thể đã khác.
- Tuần thi. Tuần 3 xếp hàng chỉ 15 phút và bỏ đi 27 suất, phần lớn vì nhiều sinh viên về sớm. Lấy tuần 3 làm bằng chứng là đọc sai.
- Sự mới lạ. Lượt mở app giảm từ 1.600 xuống 1.050 trong bốn tuần; phần đầu có thể chỉ là tò mò.
- Tự chọn. 46% đơn tuần 4 đến từ người chạy lịch, có lớp 12:45. Họ là những người có lý do mạnh nhất để đặt trước, nên kết quả trên họ không nói được nhiều về những người còn lại.
Một bài học nữa: lẽ ra phải viết mức cải thiện tối thiểu đáng làm trước khi chạy. Giả sử từ đầu Phòng Quản trị – Đời sống đặt ngưỡng "xếp hàng thường giảm ít nhất 5 phút". Khi đó 4 phút là kết quả chưa đạt, và cuộc họp sẽ bàn vì sao, thay vì ăn mừng.
Với câu hỏi lớn tiếp theo, mở rộng sang quầy thứ hai, nhóm có cơ hội làm tốt hơn. Không chia ngẫu nhiên sinh viên được, vì một quầy chỉ có một hàng người. Nhưng có thể triển khai theo giai đoạn: mở app cho quầy phở/bún trước, giữ quầy bánh mì làm nhóm đối chứng tự nhiên, và đo cả hai bằng cùng một cách bấm giờ trong cùng những ngày. Viết ra bằng văn bản trước khi mở:
Thay đổi: mở đặt trước ở quầy phở/bún
Chỉ số chính: thời gian xếp hàng thường giờ cao điểm, trung vị
Đối chứng: quầy bánh mì, đo cùng ngày, cùng cách bấm giờ
Mức tối thiểu đáng làm: giả sử 5 phút
Thời gian chạy: 4 tuần, loại tuần thi ra khỏi so sánh
Canh gác: doanh thu quầy, hoàn tiền vì hết món
Dự đoán của nhóm: ghi tại đây trước khi mở
Dòng cuối thường bị bỏ qua. Nếu không viết dự đoán trước, bốn tuần sau ai cũng sẽ nhớ rằng mình đã đoán đúng.
Thử ngay: tìm một tương quan trong dữ liệu chạy thử có thể bị đọc nhầm thành nhân quả. Gợi ý: trong số người tới sau 12:30 có xem bảng "còn món", 35% đi thẳng sang quầy khác. Bảng làm họ đổi quầy, hay họ xem bảng vì đã định đổi quầy? <!--/case-append-->