Đưa agent lên production mới là nửa việc. Nửa còn lại — cũng là nơi nhiều dự án chết — là vận hành: giám sát chất lượng, kiểm soát chi phí, và xử lý khi agent làm sai. RPA cũ hiếm khi "ảo giác", agent thì có thể. Bài này trang bị bạn để vận hành bền vững.
Ba trụ cột vận hành
- Observability (quan sát được): bạn phải thấy agent đang nghĩ gì, gọi tool gì, tốn bao nhiêu.
- Cost control (kiểm soát chi phí): token có thể phình bất ngờ.
- Incident response (xử lý sự cố): có quy trình khi agent làm sai.
Giám sát: đo cái gì
- Chất lượng: tỷ lệ output hợp lệ schema, tỷ lệ phải escalate, tỷ lệ khách phàn nàn.
- Hành vi tool: tần suất mỗi tool, tỷ lệ tool lỗi, số bước trung bình mỗi request.
- Chi phí: token/request, chi phí/ngày, xu hướng tăng bất thường.
- Độ trễ: thời gian mỗi request, so với SLA.
Log tối thiểu cho mỗi request agent
{
"request_id": "...",
"input_hash": "...",
"steps": 4,
"tools_called": ["lookup_order","create_refund_ticket"],
"tokens": {"in": 1200, "out": 300},
"cost_usd": 0.012,
"decision": "approve_refund",
"confidence": 0.82,
"escalated": false,
"latency_ms": 2400
}
Có log này, bạn tái hiện được mọi quyết định để audit và debug.
Kiểm soát chi phí
- Đặt budget alert theo ngày/tuần ở phía provider và phía app.
- Cache kết quả cho input trùng lặp (hash input).
- Dùng router để case dễ không đi qua agent (Bài 6).
- Giới hạn số bước và độ dài context để tránh request phình.
- Chọn model theo bước: bước dễ dùng model nhỏ/rẻ, bước khó mới dùng model mạnh.
if est_tokens(request) > TOKEN_BUDGET_PER_REQ:
return route_human(request, reason="over_budget")
Xử lý "ảo giác" và sai sót
Agent có thể bịa mã đơn không tồn tại, hoặc quyết định sai. Phòng thủ nhiều lớp:
- Grounding: buộc agent chỉ dùng dữ liệu từ tool, không tự bịa; verify mã đơn tồn tại trước khi hành động.
- Validation đầu ra: kiểm tra logic (số tiền > 0, order tồn tại, trong hạn mức) trước khi thực thi.
- Human-in-the-loop cho case rủi ro cao hoặc low-confidence.
- Circuit breaker: nếu tỷ lệ lỗi vượt ngưỡng trong X phút, tự động tắt agent, chuyển toàn bộ về RPA/người.
Circuit breaker (pseudocode)
if error_rate_last(minutes=10) > 0.05:
disable_agent_flag() # tự động rơi về RPA thuần
alert_oncall("agent circuit breaker tripped")
Runbook sự cố mẫu
- Nhận cảnh báo (chất lượng tụt / chi phí vọt / khách phàn nàn).
- Tắt agent bằng feature flag → luồng RPA cũ tiếp quản.
- Trích log request lỗi, tái hiện.
- Xác định nguyên nhân: prompt drift, model đổi hành vi, input dạng mới, tool lỗi.
- Sửa + test trên tập mẫu.
- Bật lại theo canary, không bật thẳng 100%.
Khung tư duy: "Fail an toàn, không fail im lặng"
Mọi lỗi phải rơi về trạng thái an toàn (RPA/người) và phát tín hiệu. Điều tệ nhất không phải agent sai — mà là agent sai âm thầm không ai biết cho tới khi khách phàn nàn.
Checklist vận hành production
- [ ] Log đầy đủ mỗi request (tool, token, cost, decision, confidence)
- [ ] Dashboard chất lượng + chi phí + độ trễ, có alert
- [ ] Budget alert và giới hạn token/request
- [ ] Validation đầu ra trước khi hành động thật
- [ ] Circuit breaker tự tắt agent khi lỗi vượt ngưỡng
- [ ] Runbook sự cố + người trực (on-call)
- [ ] Review định kỳ case escalate/low-confidence để cải tiến prompt
Sai lầm thường gặp
- Không giám sát chất lượng: agent lặng lẽ tệ dần (prompt drift, model update) mà không ai biết.
- Không có budget alert: hóa đơn token gây sốc cuối tháng.
- Tin output agent mà không validate: ảo giác lọt vào hành động thật.
- Không có circuit breaker: sự cố lan rộng trước khi con người kịp can thiệp.
- Fail im lặng: lỗi bị nuốt, không cảnh báo — nguy hiểm nhất.
- Coi migration là xong: agentic cần vận hành liên tục, không phải "cài đặt một lần".
Tổng kết khóa học
Bạn đã đi trọn hành trình: hiểu khác biệt RPA vs agentic (Bài 1), biết khi nào nâng cấp (Bài 2), dựng môi trường (Bài 3), thêm trí tuệ từng bước (Bài 4-5), thiết kế hybrid (Bài 6), migration an toàn (Bài 7), và vận hành bền vững (Bài 8). Nguyên tắc xuyên suốt: giữ deterministic ở lõi, đặt trí tuệ ở rìa, luôn có đường lui, và chứng minh bằng dữ liệu. Chúc bạn nâng cấp automation cũ thành công.