Rất nhiều team dựng được một agent chạy đẹp trong demo rồi tưởng chỉ cần "bật lên là xong". Thực tế, khoảng cách từ pilot đến production không phải là thêm vài dòng code, mà là một sự thay đổi về tiêu chuẩn vận hành. Bài này giúp bạn nhìn rõ khoảng cách đó để không vỡ trận khi user thật ập vào.
Pilot và Production khác nhau ở đâu
Pilot tối ưu cho việc chứng minh ý tưởng chạy được. Production tối ưu cho việc chạy được liên tục, cho người lạ, khi có sự cố. Cụ thể:
| Khía cạnh | Pilot | Production |
|---|---|---|
| Người dùng | Bạn + vài đồng nghiệp thân thiện | User thật, không đoán trước hành vi |
| Input | Sạch, đúng định dạng | Bẩn, adversarial, rỗng, tiếng lóng |
| Lỗi | "Chạy lại là được" | Phải tự phục hồi hoặc fail an toàn |
| Chi phí | Vài đô, ai quan tâm | Nhân theo lưu lượng, có thể cháy ví |
| Quan sát | Đọc log tay | Metric, trace, alert tự động |
Ví dụ cụ thể
Một agent hỗ trợ khách hàng chạy pilot nội bộ trả lời 50 câu/ngày, chi phí 2 USD. Khi mở cho 5.000 khách/ngày, cùng logic đó gặp: câu hỏi ngoài phạm vi, người dùng cố "jailbreak", tool gọi API bên thứ ba bị rate limit, và hóa đơn token nhảy lên 400 USD/ngày. Không có gì trong pilot chuẩn bị cho bạn điều này — vì pilot không được thiết kế để chịu tải hay chịu tấn công.
Khung tư duy: 5 trục sẵn sàng production (READY)
- Reliability — agent có tự phục hồi khi tool/LLM lỗi không?
- Evaluation — bạn đo chất lượng đầu ra bằng gì, ngưỡng bao nhiêu?
- Accountability — mỗi hành động có được log/trace để truy vết không?
- Defense — có giới hạn chi phí, rate limit, guardrail nội dung chưa?
- Yield control — có bật/tắt/rollback được từng phần mà không deploy lại không?
Các bước làm
- Liệt kê điểm khác biệt giữa môi trường pilot và production thật của bạn (ai dùng, input ra sao, tải bao nhiêu).
- Chấm điểm agent hiện tại theo READY từ 0–2 mỗi trục; trục nào dưới 2 là hạng mục cần làm trước go-live.
- Ước lượng tải và chi phí ở quy mô thật: số request/ngày × token trung bình × giá.
- Định nghĩa "an toàn khi hỏng": nếu LLM down, agent nên trả lời gì thay vì crash?
- Viết ra một trang "Definition of Production" cho dự án — tiêu chí mà mọi người đồng ý là điều kiện lên thật.
Checklist tự đánh giá
- [ ] Tôi biết ai là user thật và họ có thể nhập gì bất ngờ.
- [ ] Tôi có con số tải và chi phí ở quy mô thật.
- [ ] Tôi biết agent sẽ làm gì khi mỗi dependency hỏng.
- [ ] Tôi có ngưỡng chất lượng đo được, không chỉ "thấy ổn".
- [ ] Tôi bật/tắt được agent mà không cần deploy.
Sai lầm thường gặp
- Coi demo đẹp là bằng chứng sẵn sàng. Demo dùng input tuyển chọn; production dùng input hỗn loạn.
- Bỏ qua chi phí cho đến khi nhận hóa đơn. Token và tool call nhân theo lưu lượng rất nhanh.
- Không định nghĩa hành vi khi hỏng. Agent "treo" hoặc trả rác còn tệ hơn báo lỗi rõ ràng.
- Go-live 100% ngay. Bỏ qua giai đoạn phát hành từ từ khiến sự cố lan ra toàn bộ user.