Bài 7 — Đo lường Adoption: metric đúng, dashboard và vòng cải thiện

Không đo thì không quản được — nhưng đo sai còn tệ hơn

Bạn cần số liệu để chứng minh giá trị cho sponsor và để biết chỗ nào adoption yếu. Nhưng đo sai chỉ số dẫn tới quyết định sai: đo "số người được cấp quyền" khiến bạn tưởng thành công trong khi agent đang chết. Bài này chọn đúng metric và dựng vòng cải thiện.

Khung tư duy: 4 nhóm metric

• Adoption metrics (người có DÙNG không): active users/tuần, tỷ lệ tác vụ qua agent, tần suất/người, độ sâu tính năng dùng.
• Value metrics (có TIẾT KIỆM/tăng chất lượng không): thời gian mỗi tác vụ, khối lượng xử lý, tỷ lệ lỗi, sự hài lòng khách cuối.
• Trust metrics (người TIN không): tỷ lệ override, tỷ lệ chấp nhận đề xuất agent, khảo sát niềm tin, số lần báo lỗi.
• Health metrics (agent CHẠY tốt không): độ chính xác, độ trễ, tỷ lệ escalation, sự cố.

Một dashboard tốt có cả bốn nhóm. Chỉ nhìn adoption mà bỏ trust là mù một mắt.

Chỉ số phản chiếu: đọc dấu hiệu ngầm

Vài chỉ số nói lên nhiều hơn bề mặt:

• Override rate cao: người dùng dùng nhưng KHÔNG tin — sửa gốc chất lượng, không ăn mừng "usage cao".
• Usage tăng rồi tụt sau 3 tuần: hào hứng ban đầu tắt, giá trị thật chưa đủ — dấu hiệu nguy hiểm sớm.
• Ít người dùng nhưng dùng SÂU: có thể chỉ champion dùng, số đông chưa vào — cần đẩy đào tạo.

Ví dụ cụ thể: agent phân loại ticket

baseline (trước agent): thời gian tới phản hồi đầu 42 phút
tuần 6:
  active_usage_rate: 0.71     (71% ticket qua agent)  -> tốt
  time_to_first_response: 14 phút                     -> value rõ
  override_rate: 0.28         (28% bị người sửa)       -> trust còn yếu
  trust_survey: 3.6/5                                  -> cần cải thiện
=> Kết luận: adoption + value đạt, NHƯNG override 28% cho thấy
   agent phân loại sai một nhóm ticket -> điều tra nhóm đó.

Nếu chỉ nhìn usage 71% bạn sẽ tưởng thắng lớn; override 28% cảnh báo phải sửa.

Các bước dựng hệ đo lường

• Ghi baseline TRƯỚC khi triển khai — không có baseline thì không chứng minh được value.
• Chọn 1 primary metric cho value (thứ sponsor quan tâm nhất), 2–3 metric mỗi nhóm còn lại. Đừng đo 40 thứ.
• Tự động thu thập từ log agent thay vì khảo sát thủ công khi có thể.
• Dựng dashboard cập nhật hằng tuần, chia theo nhóm/phòng để thấy nơi nào yếu.
• Đặt ngưỡng cảnh báo: usage tụt, override tăng, sự cố — thì báo động.
• Họp review theo dữ liệu: mỗi tuần nhìn số, chọn MỘT thứ cải thiện.

Vòng cải thiện: Đo → Chẩn → Sửa → Đo lại

1. Đo:   override rate của agent báo giá = 31%
2. Chẩn: 80% override rơi vào đơn hàng nhiều dòng -> agent gộp sai
3. Sửa:  cập nhật hướng dẫn + thêm bước xác nhận với đơn phức tạp
4. Đo lại: tuần sau override còn 12% -> giữ, theo dõi tiếp

Mỗi vòng chỉ sửa một giả thuyết để biết rõ cái gì có tác dụng.

Checklist hệ đo lường lành mạnh

[ ] Có baseline trước triển khai
[ ] Đo cả 4 nhóm: adoption, value, trust, health
[ ] Có 1 primary value metric gắn với KPI sponsor
[ ] Adoption đo bằng HÀNH ĐỘNG THẬT, không phải cấp quyền
[ ] Có ngưỡng cảnh báo tự động
[ ] Mỗi tuần chọn đúng 1 thứ để cải thiện

Sai lầm thường gặp

• Đo số người được cấp quyền: chỉ số phù phiếm, che giấu agent chết.
• Bỏ qua override rate: usage cao + override cao = người dùng đang chữa cháy cho agent, không phải tin nó.
• Không có baseline: sau này không chứng minh được value, sponsor rút ngân sách.
• Đo quá nhiều metric: 40 chỉ số làm loãng, không ai hành động. Chọn ít mà đúng.
• Report đẹp cho sếp nhưng không hành động: dashboard để CẢI THIỆN, không phải để trang trí họp.

Tóm tắt

Đo 4 nhóm — adoption, value, trust, health — với 1 primary value metric gắn KPI sponsor, luôn có baseline, và đọc chỉ số phản chiếu như override rate. Chạy vòng Đo-Chẩn-Sửa-Đo lại mỗi tuần. Bài cuối: vận hành và duy trì adoption sau khi rollout xong.