Bối cảnh
Một test tồi 90% bắt nguồn từ giả thuyết mơ hồ và metric sai. Nếu bạn đo nhầm chỉ số, dù chạy test hoàn hảo về mặt kỹ thuật, quyết định vẫn sai. PM giỏi dành thời gian ở khâu này chứ không phải khâu chạy. AI giúp bạn ép ý tưởng thành dạng đo được, tách primary metric khỏi guardrail, và tránh bẫy "vanity metric".
Ba loại metric bạn phải phân biệt
- Primary metric: chỉ số duy nhất quyết định thắng/thua (ví dụ tỷ lệ chuyển đổi).
- Guardrail metric: chỉ số không được xấu đi (tỷ lệ hoàn tiền, tốc độ tải trang, churn).
- Diagnostic metric: giúp giải thích tại sao (số bước hoàn tất, thời gian trên trang).
Ví dụ cụ thể
Bạn quản lý app học tiếng Anh. Team muốn thêm thông báo đẩy "nhắc học mỗi tối 8h". Ý tưởng nghe hay, nhưng đo bằng gì?
Prompt mẫu
Bạn là PM analytics kỳ cựu. Giúp tôi thiết kế hệ metric cho 1 A/B test.
Sản phẩm: app học tiếng Anh, mục tiêu kinh doanh là giữ chân người dùng (D7 retention).
Thay đổi thử nghiệm: gửi push notification nhắc học lúc 20h mỗi ngày.
Hãy trả về bảng gồm:
- 1 primary metric (kèm định nghĩa chính xác cách tính)
- 2-3 guardrail metrics (giải thích vì sao cần)
- 2 diagnostic metrics
- Cảnh báo nếu tôi bị cám dỗ chọn 1 vanity metric nào đó
Tiếng Việt, súc tích.
AI sẽ cảnh báo bạn: đừng lấy "số lượt mở app" làm primary (dễ tăng ảo do notification), mà nên lấy "tỷ lệ hoàn thành ít nhất 1 bài học trong ngày" hoặc D7 retention. Guardrail: tỷ lệ tắt notification, tỷ lệ gỡ app.
Công thức viết giả thuyết
Dùng cấu trúc: "Nếu [thay đổi], thì [primary metric] sẽ [hướng + độ lớn], vì [cơ chế hành vi], đo trong [thời gian]".
Ví dụ hoàn chỉnh: "Nếu gửi push nhắc học lúc 20h, thì D7 retention sẽ tăng từ 30% lên 34%, vì tạo thói quen học đúng khung giờ rảnh, đo trong 3 tuần."
Các bước làm
- Viết mục tiêu kinh doanh thật của sản phẩm (1 câu).
- Đưa mục tiêu + ý tưởng thay đổi vào prompt trên.
- Yêu cầu AI phân loại metric thành 3 nhóm.
- Tự hỏi: "Nếu primary thắng nhưng guardrail xấu, tôi có launch không?" — nếu không, guardrail đó phải là điều kiện chặn.
- Ghi định nghĩa cách tính từng metric xuống văn bản (tránh mỗi người hiểu một kiểu).
- Ước lượng độ lớn cải thiện kỳ vọng (MDE) — bài 3 sẽ dùng.
Checklist metric trước khi chạy
[ ] Chỉ có ĐÚNG 1 primary metric
[ ] Primary gắn với mục tiêu kinh doanh, không phải vanity
[ ] Mỗi metric có định nghĩa cách tính viết rõ ràng
[ ] Có tối thiểu 2 guardrail
[ ] Đã xác định guardrail nào là "điều kiện chặn launch"
[ ] MDE (mức cải thiện tối thiểu đáng bận tâm) đã ước lượng
[ ] Giả thuyết theo cấu trúc Nếu-Thì-Vì-Đo trong
Sai lầm thường gặp
- Nhiều primary metric: khi có 2-3 primary, bạn dễ "chọn cái nào thắng thì kể cái đó" — thiên vị xác nhận.
- Vanity metric làm primary: lượt xem, lượt tải tăng nhưng doanh thu và retention không đổi.
- AI bịa metric nghe kêu (ảo giác): AI đôi khi đề xuất metric hoành tráng nhưng sản phẩm bạn không đo được. Chỉ chọn metric bạn thật sự có dữ liệu.
- Dán ngữ cảnh nhạy cảm: mô tả tính năng chưa công bố cho AI công cộng có thể rò rỉ chiến lược. Ẩn danh và trừu tượng hóa khi cần.
- Bỏ định nghĩa cách tính: "active user" mỗi team hiểu khác nhau, dẫn tới đọc kết quả loạn.