Bạn làm thế nào để tránh tình trạng metrics tốt nhưng sản phẩm thực sự không tốt hơn cho người dùng?

Tôi bổ sung qualitative signals bên cạnh quantitative metrics. Mỗi tháng tôi dành thời gian nghe user calls và đọc user reviews. Nếu metrics tốt nhưng user reviews deteriorate, đó là leading indicator rằng metrics đang bị lag hoặc bị game. Qualitative signals catch things quantitative metrics miss.

Đây là Goodhart's Law: khi một metric trở thành target, nó không còn là good metric nữa. Giải pháp là dùng metric clusters thay vì single metric. Nếu tôi optimize DAU, team sẽ tìm cách inflate DAU bằng spam notifications. Nhưng nếu tôi track DAU + D7 retention + satisfaction score đồng thời, rất khó để game tất cả cùng lúc.

Tôi định kỳ rotate metrics và add new metrics để detect gaming. Nếu một metric improve đều đặn trong khi related metrics không move, đó là dấu hiệu gaming. Tôi cũng track 'negative metrics' — những thứ chúng ta không muốn tăng. Ví dụ: notification opt-out rate, support ticket volume.