Bài cuối ghép mọi thứ vào một tình huống xuyên suốt, rồi rút ra bài học triển khai và các "chống chỉ định" thường khiến chương trình agentic AI chết yểu.
Tình huống: chuỗi bán lẻ 40 cửa hàng
Bối cảnh: bộ phận CSKH quá tải, 5.000 ticket/tháng, 55% là hỏi trạng thái đơn và đổi/trả.
Bước 1 — Xác định & ưu tiên (bài 1–3): quét cơ hội, chọn "agent xử lý ticket trạng thái đơn + đổi trả" vì Impact khá, Feasibility cao, chi phí sai kiểm soát được, ROI dự kiến hoàn vốn 7 tháng.
Bước 2 — Buy vs Build (bài 5): không phải năng lực lõi, cần nhanh → BUY nền tảng agent hỗ trợ khách, nhưng BUILD connector tới hệ thống đơn hàng nội bộ → HYBRID.
Bước 3 — Roadmap (bài 4): Q1 chỉ làm use case này (quick win); connector đơn hàng trở thành mảnh nền tảng tái dùng cho các agent sau.
Bước 4 — Nền tảng vận hành (bài 6): allowlist tool (chỉ đọc đơn, tạo phiếu đổi trả ≤ 1 triệu); trên 1 triệu → human duyệt; kill switch + audit log; 1 nhân viên trực escalate.
Bước 5 — Đo lường & scale (bài 7): eval set 60 ca; pilot 15% lưu lượng.
Diễn biến thực tế (những gì hay xảy ra)
Tuần 1-2: chính xác 88%, nhưng escalate-đúng chỉ 82%
-> agent tự xử vài ca đổi trả sai chính sách.
Hành động: siết guardrail, thêm 12 ca lỗi vào eval, sửa prompt chính sách.
Tuần 3-4: escalate-đúng lên 96%, chính xác 93%, CSAT +2 điểm.
Quyết định: qua scale gate -> tăng lên 50% lưu lượng.
Tháng 3: 100% lưu lượng ticket cấp 1; giảm 48% chi phí/ticket;
nhân viên chuyển sang xử ca phức tạp.
Bài học vàng: thất bại tuần đầu là bình thường và cần thiết — chính nó nuôi eval set và guardrail. Đội nào kỳ vọng hoàn hảo ngay sẽ hoảng loạn và tắt dự án quá sớm. Hãy đặt kỳ vọng này với lãnh đạo TRƯỚC khi pilot, để khi con số tuần đầu chưa đẹp, đó là dữ liệu để cải thiện chứ không phải cái cớ để hủy.
Chú ý cả khía cạnh con người: khi thông báo agent tiếp quản ticket cấp 1, hãy khung nó là "agent gánh phần việc lặp lại nhàm chán để bạn tập trung vào ca khó và khách VIP", kèm kế hoạch đào tạo kỹ năng mới. Nếu nhân viên cảm thấy bị đe dọa mất việc, họ sẽ ngầm phá — báo cáo sai, không hợp tác cải thiện eval — và đó là nguyên nhân thất bại phổ biến hơn cả lỗi kỹ thuật.
Bài học triển khai (rút gọn)
- Bắt đầu hẹp, thắng rõ: một use case, một số đo, hoàn vốn nhanh.
- Human-in-the-loop trước, tự chủ sau: mở tự chủ theo niềm tin đo được.
- Nền tảng mọc từ use case, không xây trước 6 tháng.
- Eval là tài sản: mỗi lỗi thành một test, agent tốt dần.
- Quản trị thay đổi con người quan trọng ngang kỹ thuật: nhân viên phải thấy agent gánh việc chán, không cướp việc.
Checklist khởi động chương trình (in ra dùng)
[ ] Đã chọn 1 use case Feasibility cao, ROI < 9 tháng
[ ] Có product owner nghiệp vụ + kỹ sư + reviewer
[ ] Quyết định Buy/Build/Hybrid có lý do ghi lại
[ ] Guardrail + kill switch + audit log sẵn sàng
[ ] Eval set >= 30 ca gồm ca escalate
[ ] Pilot giới hạn lưu lượng + scale gate rõ ràng
[ ] Kế hoạch truyền thông nội bộ để nhân viên đồng hành
Sai lầm thường gặp (tổng kết)
- Tắt dự án vì lỗi tuần đầu: bỏ lỡ đúng giai đoạn agent học nhanh nhất.
- Big bang 100% lưu lượng ngay: một lỗi hệ thống ảnh hưởng toàn bộ khách.
- Chỉ lo kỹ thuật, quên con người: nhân viên phản kháng, ngầm phá.
- Xong use case đầu là dừng: không trích nền tảng, không có use case thứ hai, chương trình lụi tàn.