Agent lên production không phải đích đến mà là điểm khởi đầu. Không đo lường và cải tiến, chất lượng sẽ trôi dạt: KB cũ đi, câu hỏi mới xuất hiện, khách phàn nàn tăng dần. Bài này biến agent thành một hệ thống tự tốt lên.
Bảng chỉ số vận hành
| Chỉ số | Ý nghĩa | Ngưỡng cảnh báo |
|---|---|---|
| Deflection rate | % hội thoại giải quyết không cần người | Tụt > 10% tuần |
| Containment rate | % khách không đòi gặp người sau khi bot trả lời | < 60% |
| Routing accuracy | % ticket gán đúng đội | < 85% |
| CSAT (bot) | Điểm hài lòng sau hội thoại bot | < 4.0/5 |
| Escalation rate | % hội thoại phải chuyển người | Tăng đột biến |
| Fallback/bịa | % câu trả lời không có nguồn KB | > 2% |
Vòng lặp cải tiến hằng tuần
[1] Xuất log tuần: hội thoại thất bại, escalation lặp lại, CSAT thấp
│
▼
[2] Phân nhóm nguyên nhân:
- KB thiếu bài → viết bài KB mới
- KB sai/cũ → cập nhật bài
- Route sai → chỉnh taxonomy / luật cứng
- Prompt lỗi → sửa prompt + thêm golden case
│
▼
[3] Sửa → chạy lại golden set (Bài 7) → deploy
│
▼
[4] Đo lại tuần sau, so sánh
Khai thác escalation lặp lại (mỏ vàng)
Mỗi khi cùng một loại câu hỏi bị escalate nhiều lần, đó là bằng chứng KB đang thiếu. Quy trình:
- Nhóm escalation theo chủ đề mỗi tuần.
- Chủ đề nào lặp ≥ 5 lần → viết bài KB mới (Bài 3).
- Thêm câu hỏi đó vào golden set với kỳ vọng "deflect được".
- Deploy → tuần sau chủ đề đó tự deflect, escalation giảm.
Ví dụ cụ thể
Sau 3 tuần chạy, log cho thấy 22 ticket escalate về "đổi size sau khi mua". KB chưa có bài này. Bạn viết một bài KB "Chính sách đổi size" rõ ràng, thêm golden case, deploy. Tuần 4: 19/22 ca tương tự được deflect tự động, đội care nhẹ hẳn.
Các bước thiết lập vận hành
- Dựng dashboard với 6 chỉ số ở bảng trên, cập nhật hằng ngày.
- Đặt cảnh báo tự động khi chỉ số vượt ngưỡng (ví dụ CSAT < 4.0 gửi Slack).
- Lịch review tuần cố định 30 phút, đi qua vòng lặp cải tiến.
- Quy trình cập nhật KB có người sở hữu (ai viết, ai duyệt, bao lâu).
- A/B test prompt khi thay đổi lớn: chạy song song, so CSAT trước khi rollout toàn bộ.
- Audit định kỳ 20 hội thoại ngẫu nhiên/tháng, đọc tay để bắt lỗi tinh vi.
Checklist vận hành bền vững
- [ ] Dashboard 6 chỉ số chạy hằng ngày.
- [ ] Cảnh báo tự động khi vượt ngưỡng.
- [ ] Review tuần có người chủ trì và biên bản.
- [ ] KB có chủ sở hữu và quy trình cập nhật.
- [ ] Golden set lớn dần theo mỗi ca thất bại mới.
- [ ] Audit tay hằng tháng.
Sai lầm thường gặp
- Chỉ đo deflection rate: Ép số này lên bằng cách chặn khách sẽ giết CSAT. Đo bộ chỉ số cân bằng.
- Không đóng vòng lặp KB: Escalation lặp lại mãi vì không ai biến chúng thành bài KB mới. Đây là công việc quan trọng nhất khi vận hành.
- Đổi prompt không đo lường: "Cải tiến" cảm tính có thể làm tệ đi mà không ai biết. Luôn A/B hoặc so trước-sau.
- Bỏ audit tay: Chỉ nhìn số tổng che giấu lỗi tinh vi (giọng điệu lạnh lùng, hiểu sai ý). Đọc hội thoại thật đều đặn.
Tổng kết khóa học
Bạn đã đi trọn vòng: hiểu 3 nhiệm vụ (deflect/route/escalate) → dựng kiến trúc tool-calling → xây KB grounded → viết prompt + luật → phân loại/định tuyến → escalation có ngữ cảnh → lưới an toàn chống bịa → vận hành cải tiến liên tục. Một agent CSKH tốt không phải bot "thông minh nhất", mà là bot kỷ luật nhất: biết khi nào trả lời, khi nào im lặng chuyển người, và luôn tốt lên mỗi tuần.