Bài 6 — Tình huống thực chiến: Playbook AI Ops end-to-end

Bài 6 — Tình huống thực chiến: dựng playbook AI Ops end-to-end

Năm bài trước cho bạn từng mảnh ghép. Bài này ghép chúng thành một hệ vận hành sống, qua một tình huống xuyên suốt và một khung playbook bạn có thể mang đi làm thật ngay.

Bối cảnh: "PayGuard" — mô hình chống gian lận thanh toán

Bạn là AI Ops PM cho PayGuard, mô hình quyết định chặn/duyệt giao dịch theo thời gian thực. Sai lầm hai chiều đều đắt: chặn nhầm (mất khách, mất doanh thu) và bỏ lọt (thiệt hại gian lận). Đây là môi trường lý tưởng để áp dụng toàn bộ khóa học.

Bước 1 — Định nghĩa "sức khỏe" bằng con số (từ Bài 1, 2)

Trước khi làm bất cứ gì, chốt health contract:

• Business metric: thiệt hại gian lận ròng, tỷ lệ duyệt.
• Guardrail: false-positive rate ≤ ngưỡng theo phân khúc; p99 latency ≤ 150ms.
• Drift signals: PSI trên top-10 feature; prediction drift (tỷ lệ "chặn"); input health (null, schema).
• Nhãn trễ: kết quả chargeback về sau 30–60 ngày → cần proxy (tỷ lệ khiếu nại, tỷ lệ can thiệp thủ công) cho giai đoạn chờ.

Bước 2 — Giám sát nhiều tầng (từ Bài 2, 5)

Dựng dashboard + alert phân tầng:

• Input health (P2), distribution drift (P2/P3 tùy feature), prediction drift (P2), guardrail vi phạm (P1).
• Ngưỡng có ngữ cảnh mùa vụ (Tết, sale) để tránh alert giả.
• Mỗi alert kèm runbook + dashboard + lineage link.

Bước 3 — Vòng retrain có quality gate (từ Bài 4)

Retrain hằng tuần, nhưng luôn qua gate:

• Data validation (không leakage, đủ nhãn, schema đúng).
• Champion vs Challenger trên frozen backtest, theo phân khúc.
• Golden set các ca gian lận kinh điển — sai là chặn.
• Gate fail-closed nếu nhãn chưa đủ để đánh giá.

Bước 4 — Deploy an toàn (từ Bài 3)

• Shadow cho thay đổi lớn (đổi thuật toán) để bắt lệch phân khúc trước.
• Canary 1%→5%→25%→100% với guardrail proxy real-time.
• Auto-rollback khi guardrail vỡ; last-known-good luôn sẵn sàng; đã diễn tập.

Bước 5 — Incident & giảm MTTR (từ Bài 5)

Khi sự cố: Detect → Triage → Diagnose (lineage) → Mitigate (rollback/nới ngưỡng) → Resolve (retrain qua gate) → Learn (postmortem, cập nhật golden set + alert). Theo dõi MTTR như KPI.

Tình huống nóng: xử lý ra sao?

Thứ Sáu, 22h, mùa sale. Alert P1: false-positive rate ở phân khúc "khách mới" tăng gấp đôi. PSI trên feature "giá trị đơn" = 0.5.

Cách một AI Ops PM giỏi phản ứng:

• Triage: P1 vì chạm guardrail công bằng + doanh thu; gọi đúng on-call.
• Diagnose: lineage cho biết canary v5.2 lên 2 giờ trước. Nhưng PSI cao có thể chỉ là drift mùa sale kỳ vọng được. Phân biệt: so với cùng kỳ sale năm trước, và kiểm tra input health (không phải bug ETL).
• Mitigate ngay: rollback v5.2 về v5.1 (6 phút) để dừng chảy máu — ổn định trước, hoàn hảo sau.
• Resolve: điều tra offline — v5.2 overfit vào tuần thường, gặp phân phối sale thì lệch. Retrain có thêm dữ liệu sale, qua quality gate (kèm ca sale vào golden set).
• Learn: thêm alert "drift mùa vụ có ngữ cảnh", cập nhật runbook, MTTR ghi nhận 6 phút.

Khung playbook mang đi làm

Với mỗi mô hình production, đảm bảo có đủ:

• [ ] Health contract (business + guardrail metric) được ký bởi PM.
• [ ] Monitoring phân tầng có ngữ cảnh mùa vụ + input health.
• [ ] Quality gate: frozen backtest + golden set + segment + fail-closed.
• [ ] Deploy an toàn: shadow (thay đổi lớn) + canary + auto-rollback đã diễn tập.
• [ ] Alerting: severity + owner + runbook + lineage.
• [ ] Lineage đầy đủ cho audit/compliance.
• [ ] MTTR được đo và cải thiện; postmortem không đổ lỗi.

Sai lầm thường gặp (tổng hợp)

• Tối ưu một mắt xích, bỏ quên vòng lặp. Monitoring xịn nhưng không có rollback thì phát hiện rồi... bó tay.
• Nhầm drift kỳ vọng (sale/lễ) với sự cố, rollback nhầm hoặc báo động giả.
• "Hoàn hảo trước, ổn định sau". Trong incident, mitigate để cầm máu trước, điều tra gốc rễ sau.
• Playbook nằm trong đầu một người. Vận hành phải là quy trình viết ra, ai on-call cũng chạy được.
• Không cập nhật golden set/alert sau sự cố, để cùng một lỗi lặp lại — vận hành không học được thì không trưởng thành.