Bối cảnh tình huống
Bạn là PM tại một công ty bảo hiểm. Ban lãnh đạo muốn ra mắt tính năng "Bồi thường xe nhanh": khách hàng chụp ảnh vết hư hại (image), ghi âm mô tả sự cố (audio), hệ thống AI ước lượng mức bồi thường sơ bộ (text) trong vài phút thay vì chờ giám định viên vài ngày. Đây là bài tổng hợp mọi kiến thức từ Bài 1 đến Bài 5.
Bước 1 — Khung hóa vấn đề và chọn modality (Bài 1)
Áp dụng "Modality-to-Value": ảnh là bắt buộc (đánh giá hư hại), audio giúp giảm ma sát (khách nói dễ hơn gõ). Nhưng ước lượng bồi thường là quyết định rủi ro cao và có tiền bạc → không được tự động chi trả, chỉ đưa ước lượng sơ bộ + luôn có giám định viên xác nhận. Đây là quyết định phạm vi (scoping) then chốt: AI hỗ trợ, không thay thế quyết định cuối.
Bước 2 — Thiết kế luồng (Bài 2)
Kiến trúc cascade + hybrid:
- Audio → Speech-to-Text → text mô tả.
- Ảnh → phát hiện chất lượng (đủ sáng, đúng góc?) → nếu kém, yêu cầu chụp lại NGAY → mô hình vision phân loại loại hư hại và mức độ.
- Fusion → LLM ghép mô tả + kết quả vision → ước lượng khoảng bồi thường + độ tin cậy.
- Grounding: ước lượng phải bám vào bằng chứng ảnh; nếu ảnh không rõ, hệ thống nói "cần giám định trực tiếp" thay vì đoán.
- Vòng xác nhận: khách và giám định viên đều review.
Bước 3 — Eval trước khi ship (Bài 3)
- Golden set: 1.000 hồ sơ cũ có kết quả bồi thường thật, đa dạng loại xe, mức hư hại, điều kiện ảnh.
- Metric: sai lệch ước lượng so với thực tế (trong khoảng ±15% được coi là đạt), WER cho audio, độ chính xác phân loại hư hại.
- Slice: ảnh ban ngày/tối, xe cũ/mới, accent vùng miền cho audio.
- Ngưỡng: nếu ước lượng lệch quá lớn với nhóm nào, không ship cho nhóm đó cho tới khi cải thiện.
Bước 4 — Chi phí (Bài 4)
- Nén ảnh xuống độ phân giải đủ đọc vết móp, không gửi ảnh 12MP.
- Bộ lọc rẻ loại ảnh mờ/không phải xe trước khi gọi mô hình vision đắt.
- Routing: ca đơn giản (trầy nhẹ) dùng mô hình nhỏ; ca phức tạp mới escalate.
- Đo cost per successful claim, không chỉ cost per call.
Bước 5 — An toàn và fairness (Bài 5)
- Redact biển số, khuôn mặt người trong ảnh khi lưu log.
- Consent rõ ràng cho việc lưu ảnh/giọng nói.
- Đo fairness: tỷ lệ ước lượng đúng có đồng đều giữa các dòng xe bình dân và cao cấp, giữa các vùng miền không? Nếu xe bình dân bị ước lượng thấp hơn thực tế một cách hệ thống → bất công, phải sửa.
- Fallback: mọi ca AI không chắc chắn → chuyển giám định viên, không bao giờ để khách bị từ chối oan.
Bước 6 — Vận hành và cải tiến liên tục
- Dashboard theo dõi: accuracy theo tuần, tỷ lệ escalation, chi phí, khiếu nại.
- Vòng phản hồi: giám định viên sửa kết quả AI → dữ liệu này quay lại làm giàu golden set.
- Cảnh báo regression: eval tự động chạy mỗi lần đổi mô hình/prompt.
Checklist ra mắt (launch readiness)
- [ ] Phạm vi rõ ràng: AI hỗ trợ hay thay thế quyết định? (nên là hỗ trợ với ca rủi ro cao)
- [ ] Luồng có quality gate, grounding, vòng xác nhận chưa?
- [ ] Eval đạt ngưỡng trên mọi slice quan trọng chưa?
- [ ] Unit economics dương, đã tối ưu chi phí chưa?
- [ ] Kiểm duyệt PII, fairness, fallback đầy đủ chưa?
- [ ] Có dashboard vận hành và vòng phản hồi cải tiến chưa?
Sai lầm thường gặp
- Để AI tự quyết ca rủi ro cao: tự động chi trả dựa trên ước lượng AI - rủi ro tài chính và pháp lý lớn.
- Ship khi eval tổng đạt nhưng slice yếu: bỏ mặc nhóm bị phục vụ tệ.
- Quên vòng phản hồi: không dùng chỉnh sửa của giám định viên để cải tiến, mô hình đứng yên.
- Bỏ qua vận hành: coi ngày launch là đích đến thay vì điểm khởi đầu của giám sát liên tục.
Tổng kết
Ra mắt sản phẩm multimodal là bài toán tổng hợp: chọn đúng modality, thiết kế luồng có kiểm soát, eval nghiêm túc theo slice, tối ưu chi phí thật, và bảo đảm an toàn - fairness với fallback vững chắc. AI PM giỏi coi launch là khởi đầu của một vòng lặp cải tiến, không phải vạch đích.