Tư duy thử nghiệm: giả thuyết & vòng lặp học hỏi

Vì sao tư duy thử nghiệm quan trọng

Trong xây dựng sản phẩm, sai lầm đắt nhất không phải là làm một tính năng dở, mà là tin chắc vào một điều chưa được kiểm chứng rồi dồn nhiều tháng công sức vào nó. Tư duy thử nghiệm là kỹ năng biến mọi niềm tin về sản phẩm thành một giả thuyết có thể kiểm chứng, rồi thu thập bằng chứng trước khi cam kết nguồn lực lớn.

Ở nhiều đội sản phẩm Việt Nam, quyết định thường dựa vào cảm tính của sếp, vào việc ai nói to hơn, hoặc vào việc đối thủ vừa làm gì. Cái giá của việc thiếu tư duy thử nghiệm rất cụ thể: một sàn thương mại điện tử đổi toàn bộ luồng thanh toán vì giám đốc thấy đẹp, kết quả tỷ lệ hoàn tất đơn giảm 8 phần trăm nhưng không ai phát hiện vì không có nhóm đối chứng. Ba tháng doanh thu bốc hơi trước khi có người đặt câu hỏi. Nếu đội đó có tư duy thử nghiệm, họ đã tung thay đổi cho 5 phần trăm người dùng trước, thấy số xấu, và dừng lại trong một tuần.

Cái giá khác tinh vi hơn: khi không có văn hoá thử nghiệm, đội ngũ mất khả năng học. Mỗi lần tung tính năng là một canh bạc, thắng thua đều không rõ vì sao. Không tích luỹ được kiến thức về khách hàng. Người giỏi thử nghiệm thì ngược lại: mỗi lần ship là một lần học, dù kết quả thắng hay thua.

Bức tranh lớn

Cốt lõi của tư duy thử nghiệm là vòng lặp học hỏi: quan sát, đặt giả thuyết, thiết kế thử nghiệm, đo lường, rút bài học, rồi lặp lại. Một giả thuyết tốt có cấu trúc rõ: nếu chúng ta làm X thì chỉ số Y sẽ thay đổi theo hướng Z, vì lý do W. Ví dụ: nếu chúng ta rút gọn form đăng ký từ 6 ô xuống 3 ô thì tỷ lệ hoàn tất đăng ký sẽ tăng, vì người dùng ngại nhập nhiều thông tin trên điện thoại.

graph TD
A[Quan sat va du lieu] --> B[Dat gia thuyet co cau truc]
B --> C[Thiet ke thu nghiem]
C --> D[Chay va do luong]
D --> E[Rut bai hoc]
E --> F[Quyet dinh ship hoac kill]
F --> A

Điểm mấu chốt: giả thuyết phải sai được. Nếu bạn không thể hình dung ra một kết quả nào chứng minh mình sai, thì đó không phải giả thuyết mà là niềm tin. Tư duy thử nghiệm buộc bạn khiêm tốn trước dữ liệu.

Ví dụ chi tiết

Một ứng dụng gọi xe tại TP.HCM thấy nhiều người mở app rồi thoát mà không đặt xe. Đội sản phẩm ngồi lại và làm theo vòng lặp.

Bước 1, quan sát: xem dữ liệu, thấy 40 phần trăm phiên mở app dừng ở màn hình nhập điểm đến. Xem session recording, thấy người dùng gõ địa chỉ nhưng gợi ý sai nhiều.

Bước 2, giả thuyết: nếu chúng ta hiện 3 địa điểm hay đi gần đây ngay dưới ô tìm kiếm thì tỷ lệ đặt xe thành công sẽ tăng, vì phần lớn chuyến đi lặp lại tuyến quen.

Bước 3, thiết kế: chia người dùng ngẫu nhiên hai nhóm, nhóm A giữ giao diện cũ, nhóm B thấy gợi ý địa điểm gần đây. Chỉ số chính là tỷ lệ phiên có đặt xe thành công.

Bước 4, đo lường: sau hai tuần, nhóm B đạt 58 phần trăm so với 51 phần trăm ở nhóm A.

Bước 5, bài học: gợi ý địa điểm quen giúp thật, nhưng chỉ với người dùng cũ. Người mới không hưởng lợi vì chưa có lịch sử. Đội quyết định ship cho người dùng cũ và mở một vòng lặp mới cho người mới.

Điều đáng chú ý: nếu không có nhóm A đối chứng, đội sẽ không biết 58 phần trăm là do tính năng hay do mùa cao điểm cuối năm khiến ai cũng đi lại nhiều hơn.

Lộ trình từng bước để làm chủ

graph LR
A[Viet lai niem tin thanh gia thuyet] --> B[Chon mot chi so chinh]
B --> C[Uoc luong tac dong ky vong]
C --> D[Thiet ke thu nghiem nho nhat]
D --> E[Chay va cho du lieu du]
E --> F[Doc ket qua trung thuc]
F --> G[Ghi lai bai hoc vao so]

Bắt đầu bằng việc luyện viết giả thuyết. Mỗi khi ai đó đề xuất tính năng, hãy hỏi giả thuyết là gì và chỉ số nào sẽ chứng minh nó. Tiếp theo, học chọn một chỉ số chính duy nhất cho mỗi thử nghiệm để tránh mơ hồ. Sau đó tập ước lượng tác động kỳ vọng trước khi chạy, việc này rèn trực giác. Cuối cùng, xây thói quen ghi nhật ký thử nghiệm để tích luỹ kiến thức về khách hàng.

Thói quen & kỷ luật

Working mindset: tôi không chứng minh mình đúng, tôi tìm cách nhanh nhất và rẻ nhất để biết mình sai.

Cần luyện tập gì (drills)

Drill 1: lấy ba tính năng gần nhất đội bạn tung ra, viết lại mỗi cái thành một giả thuyết có cấu trúc nếu X thì Y vì W. Nếu không viết được, đó là dấu hiệu tính năng đó tung ra mù mờ.

Drill 2: chọn một chỉ số bạn muốn cải thiện, liệt kê 5 giả thuyết khác nhau có thể tác động lên nó, rồi xếp hạng theo mức độ dễ kiểm chứng và tác động kỳ vọng.

Drill 3: đọc một case tăng trưởng của công ty bất kỳ, tách ra đâu là quan sát, đâu là giả thuyết, đâu là bằng chứng, đâu là kết luận. Chỉ ra chỗ nào họ suy diễn quá đà.

Checklist hành động tuần này

• [ ] Viết ba giả thuyết theo đúng cấu trúc nếu X thì Y vì W
• [ ] Chọn một chỉ số chính cho một thử nghiệm sắp chạy
• [ ] Lập một sổ nhật ký thử nghiệm dùng chung cho đội
• [ ] Rà soát một quyết định gần đây và hỏi nó đã được kiểm chứng chưa
• [ ] Trình bày vòng lặp học hỏi cho đội trong 10 phút

Chỉ số & North Star

North Star của kỹ năng này là số bài học có bằng chứng bạn tạo ra mỗi tháng, không phải số tính năng ship.

Dấu hiệu bạn đã thành thạo

Bạn tự động chuyển mọi niềm tin trong họp thành giả thuyết có chỉ số mà không cần ai nhắc. Bạn thấy khó chịu khi ai đó nói tính năng này chắc chắn tốt mà không có cách kiểm chứng. Bạn ước lượng được tác động kỳ vọng khá sát trước khi chạy. Và quan trọng nhất, bạn vui khi giả thuyết của mình sai vì đó là lúc học được nhiều nhất.

Cạm bẫy thường gặp

Chốt lại

• Tư duy thử nghiệm biến niềm tin thành giả thuyết có thể kiểm chứng và sai được.
• Vòng lặp học hỏi gồm quan sát, giả thuyết, thử nghiệm, đo lường, bài học, lặp lại.
• Giá trị nằm ở bài học tích luỹ, không chỉ ở kết quả thắng thua từng lần.
• Người giỏi thử nghiệm vui khi phát hiện mình sai vì đó là học hỏi thật sự.