Data readiness & feasibility

Vì sao đánh giá data readiness quan trọng

Một tính năng AI dù ý tưởng hay tới đâu cũng chỉ sống được nếu có dữ liệu phù hợp để nuôi nó. Data readiness là năng lực đánh giá liệu tổ chức có đủ dữ liệu về số lượng, chất lượng, độ phủ và quyền sử dụng để xây và vận hành một tính năng AI. Đây là bước nhiều PM bỏ qua và trả giá đắt nhất.

Cái giá của việc thiếu kỹ năng này thường lộ ra muộn. Một nền tảng giáo dục trực tuyến ở Việt Nam hứa với nhà đầu tư sẽ ra mắt gợi ý lộ trình học cá nhân hóa trong ba tháng. Đến khi bắt tay vào, họ phát hiện dữ liệu hành vi học bị ghi thiếu, nhiều học viên không có lịch sử, và nhãn kết quả học rất nhiễu. Dự án trượt tiến độ sáu tháng chỉ để làm sạch và bổ sung dữ liệu. Niềm tin của nhà đầu tư sứt mẻ nghiêm trọng.

Khi bạn không đánh giá được độ sẵn sàng dữ liệu, bạn cam kết những thứ không thể giao, bạn để kỹ sư mắc kẹt trong việc dọn dữ liệu vô tận, và bạn ra mắt những model học từ dữ liệu rác nên cho kết quả rác. Ngược lại, một PM đọc được tình trạng dữ liệu sẽ biết chọn bài toán vừa sức, hoặc lên kế hoạch thu thập dữ liệu song song trước khi hứa hẹn.

Bức tranh lớn

Data readiness gồm bốn trụ cột: số lượng đủ để học, chất lượng đủ sạch và nhất quán, độ phủ đủ đại diện cho các tình huống thật, và quyền sử dụng hợp pháp cùng riêng tư. Thiếu bất kỳ trụ cột nào cũng làm sập tính khả thi.

graph TD
A[Danh gia du lieu] --> B{So luong du de hoc}
B -->|Khong| Z[Chua kha thi]
B -->|Co| C{Chat luong du sach}
C -->|Khong| Z
C -->|Co| D{Do phu dai dien thuc te}
D -->|Khong| Z
D -->|Co| E{Quyen su dung hop phap}
E -->|Khong| Z
E -->|Co| F[San sang xay dung]

Một điểm hay bị quên là dữ liệu phải phản ánh đúng bối cảnh sản phẩm sẽ chạy. Dữ liệu đẹp nhưng lệch bối cảnh còn nguy hiểm hơn dữ liệu ít, vì nó tạo cảm giác an toàn giả tạo rồi thất bại lúc lên production.

Ví dụ chi tiết

Một chuỗi bán lẻ điện máy muốn xây model dự đoán khách nào sắp rời bỏ để chăm sóc kịp. Đội PM bắt đầu bằng đánh giá dữ liệu thay vì lao vào xây model.

Bước một, số lượng. Họ có ba triệu khách nhưng chỉ 40 nghìn có đủ lịch sử giao dịch dài để học hành vi rời bỏ. Con số này đủ cho một model ban đầu.

Bước hai, chất lượng. Kiểm tra cho thấy 15 phần trăm bản ghi thiếu ngày giao dịch và số điện thoại bị nhập trùng lặp. Đội phải làm sạch và xây quy trình ghi dữ liệu chặt hơn.

Bước ba, độ phủ. Dữ liệu chủ yếu từ khách mua tại cửa hàng, trong khi mảng bán online đang tăng nhanh lại thiếu. Đội quyết định giới hạn phạm vi model ở khách offline trước, tránh hứa hẹn cho nhóm chưa đủ dữ liệu.

Bước bốn, quyền sử dụng. Họ rà lại điều khoản đồng ý và luật bảo vệ dữ liệu cá nhân, xác nhận được phép dùng dữ liệu này cho mục đích chăm sóc. Nhờ đánh giá đủ bốn trụ cột, model ra mắt đúng phạm vi khả thi và giảm tỷ lệ rời bỏ nhóm khách offline rõ rệt.

Lộ trình từng bước để làm chủ

graph LR
A[Xac dinh du lieu can] --> B[Kiem ke du lieu dang co]
B --> C[Do so luong va chat luong]
C --> D[Kiem tra do phu va lech]
D --> E[Ra soat quyen va rieng tu]
E --> F{Du san sang chua}
F -->|Co| G[Bat dau xay model]
F -->|Chua| H[Lap ke hoach thu thap du lieu]

Bắt đầu bằng việc viết ra chính xác model cần dữ liệu gì, cả đầu vào lẫn nhãn kết quả. Sau đó kiểm kê thứ đang có, đo số lượng và chất lượng bằng con số cụ thể chứ không phỏng đoán. Kiểm tra độ phủ để phát hiện lệch. Rà soát quyền và riêng tư từ sớm để tránh rủi ro pháp lý. Nếu chưa sẵn sàng, hãy lập kế hoạch thu thập trước khi cam kết ngày ra mắt.

Thói quen và kỷ luật

Working mindset: Không có dữ liệu tốt thì không có AI tốt, hãy nhìn thẳng vào dữ liệu trước khi mơ về mô hình.

Cần luyện tập gì (drills)

Bài luyện một: Chọn một tính năng AI dự kiến, viết bảng liệt kê mọi trường dữ liệu cần và đánh dấu cái nào đang thiếu.

Bài luyện hai: Lấy một tập dữ liệu thật, tính tỷ lệ bản ghi thiếu, trùng lặp và ngoại lệ trong một buổi.

Bài luyện ba: Vẽ phân bố dữ liệu theo phân khúc người dùng để phát hiện nhóm nào bị thiếu đại diện.

Checklist hành động tuần này

• [ ] Viết bảng dữ liệu cần cho tính năng AI ưu tiên
• [ ] Kiểm kê nguồn dữ liệu hiện có và đo số lượng
• [ ] Tính tỷ lệ bản ghi thiếu hoặc lỗi trong tập chính
• [ ] Kiểm tra độ phủ theo phân khúc để phát hiện lệch
• [ ] Rà soát quyền sử dụng và tuân thủ riêng tư của dữ liệu

Chỉ số và North Star

North Star là tỷ lệ dự án AI có dữ liệu đủ sẵn sàng trước khi cam kết ngày ra mắt. Bạn muốn không bao giờ hứa những gì dữ liệu chưa cho phép.

Dấu hiệu bạn đã thành thạo

Bạn thành thạo khi câu hỏi đầu tiên trước mọi ý tưởng AI là dữ liệu ở đâu và nó sạch tới đâu. Bạn phát hiện được lệch dữ liệu trước khi model thất bại trên production. Bạn biết thu hẹp phạm vi bài toán cho khớp với dữ liệu sẵn có thay vì hứa hẹn quá tay.

Cạm bẫy thường gặp

Chốt lại

• Data readiness gồm bốn trụ cột: số lượng, chất lượng, độ phủ, quyền sử dụng.
• Dữ liệu lệch bối cảnh nguy hiểm hơn dữ liệu ít vì tạo an toàn giả.
• Luôn kiểm kê và đo dữ liệu bằng con số trước khi cam kết ngày ra mắt.
• Thu hẹp phạm vi cho khớp dữ liệu tốt hơn là hứa hẹn quá tay.