Agent lên production không phải là đích, mà là điểm khởi đầu của vòng lặp cải tiến. Điều đặc biệt: bạn dùng lại chính process mining để giám sát agent — vì agent cũng để lại event log. Bài này dạy cách triển khai an toàn, đo tác động thật, và dùng conformance checking để phát hiện agent đi chệch.
Triển khai theo bậc thang, không big-bang
Đừng cho agent xử lý 100% ngay. Tăng dần theo mức độ tự chủ:
- Shadow mode — agent chạy song song, chỉ đề xuất, con người vẫn quyết. So sánh quyết định agent vs người.
- Assisted — agent làm, người duyệt trước khi thực thi.
- Auto với ngưỡng hẹp — agent tự làm các case dễ nhất, giá trị nhỏ.
- Auto mở rộng — nới ngưỡng khi độ chính xác đã chứng minh.
Tuan 1-2: Shadow → do agreement rate voi nguoi
Tuan 3-4: Assisted → do ty le nguoi sua quyet dinh agent
Tuan 5+ : Auto → chi cac case confidence cao, gia tri thap
Đo tác động thật: before/after
Dùng chính event log để so trước và sau:
| Chỉ số | Trước agent | Sau agent | Mục tiêu |
|---|---|---|---|
| Cycle time trung vị | 4,1 ngày | 0,3 ngày | ↓ |
| Tỷ lệ rework | 32% | 6% | ↓ |
| Chi phí/case | 16.000đ | 4.500đ | ↓ |
| % xử lý tự động | 0% | 68% | ↑ |
| Tỷ lệ escalate | — | 32% | theo dõi |
Conformance checking: agent có đi đúng đường?
Agent cũng có thể "lệch quy trình". Conformance checking so event log sau khi agent chạy với mô hình quy trình chuẩn để tìm sai lệch:
import pm4py
net, im, fm = pm4py.discover_petri_net_inductive(reference_df)
replay = pm4py.conformance_diagnostics_token_based_replay(
agent_log_df, net, im, fm)
avg_fitness = sum(r["trace_fitness"] for r in replay) / len(replay)
print(f"Fitness: {avg_fitness:.2f}") # 1.0 = khop hoan toan
Fitness thấp = agent đang tạo ra các trace không có trong quy trình chuẩn (VD bỏ bước đối chiếu PO). Đây là cảnh báo sớm trước khi hậu quả tài chính xảy ra.
Checklist giám sát production
- [ ] Agreement rate (shadow) ≥ ngưỡng đặt trước khi lên assisted?
- [ ] Tỷ lệ escalate ổn định, không tăng đột biến?
- [ ] Conformance fitness ≥ 0,9 trên log agent?
- [ ] Tỷ lệ lỗi (người phải sửa lại) dưới ngưỡng chấp nhận?
- [ ] Chi phí vận hành thực tế (token, hạ tầng) khớp dự toán ROI?
- [ ] Có cảnh báo tự động khi bất kỳ chỉ số vượt ngưỡng?
Các bước triển khai
- Bật shadow mode, thu log agent song song với người.
- Đo agreement rate; chỉ tiến bậc khi đạt ngưỡng.
- Thiết lập dashboard các chỉ số before/after.
- Chạy conformance checking định kỳ trên log agent.
- Đặt cảnh báo tự động cho fitness, escalate rate, error rate.
- Review hằng tuần, nới hoặc siết ngưỡng dựa trên dữ liệu.
Sai lầm thường gặp
- Big-bang deployment: cho agent tự chủ 100% ngày đầu, một lỗi lan rộng trước khi kịp phát hiện.
- Chỉ đo độ chính xác model, quên đo tác động quy trình (cycle time, chi phí) — cái sếp thật sự quan tâm.
- Không chạy conformance checking: agent lặng lẽ bỏ bước kiểm soát mà không ai biết.
- So sánh không công bằng: đối chiếu happy path của agent với toàn bộ case (gồm mess) của người, phóng đại thành tích.
- Bỏ mặc sau khi lên production: quy trình và dữ liệu trôi (drift), agent dần lệch mà không có ai giám sát.
Vòng phản hồi khép kín
Điều làm process mining đặc biệt giá trị ở giai đoạn vận hành là nó khép kín vòng lặp: log của agent lại trở thành đầu vào cho lần mining tiếp theo. Mỗi tuần, hãy mining log của các case mà agent escalate để tìm mẫu chung — đó là nguồn ý tưởng cải tiến giàu nhất. Nếu 30% escalate cùng do một nguyên nhân, bạn có thể nâng ngưỡng tự chủ cho phần còn lại một cách an toàn, tăng tỷ lệ tự động hóa mà không tăng rủi ro. Cũng nên đặt một mốc mining lại toàn bộ quy trình mỗi quý để bắt process drift — khi tổ chức thay đổi form, chính sách hay hệ thống, luồng thật thay đổi và agent cần được hiệu chỉnh theo. Vận hành agent không phải trạng thái tĩnh mà là một vòng cải tiến liên tục dựa trên bằng chứng.