Bài 7 — Triển khai production & Vận hành (Deploy, Rollout, On-call)

Agent chạy tốt trên máy dev không có nghĩa là sẵn sàng production. Bài này bàn cách đưa agent ra thật một cách an toàn và vận hành nó hằng ngày: rollout dần, xử lý sự cố, quản lý phiên bản prompt/model.

Rollout theo giai đoạn (đừng bật 100% ngay)

Internal test → Canary 5% → 25% → 50% → 100%
(mỗi mốc: theo dõi eval online, lỗi, chi phí, feedback)

Dùng feature flag để bật agent cho một nhóm nhỏ, nếu eval online hoặc tỉ lệ hài lòng tụt thì auto-rollback.

# rollout.yaml
agent: support-summarizer
strategy: canary
steps:
  - traffic: 5
    guard: { min_eval: 0.85, max_error_rate: 0.03 }
    rollback_if_breach: true
  - traffic: 25
  - traffic: 100

Quản lý phiên bản: model và prompt đều là "code"

Một sự cố kinh điển: nhà cung cấp âm thầm cập nhật model, agent đổi hành vi. Phòng bằng cách ghim (pin) phiên bản model qua gateway và chỉ nâng cấp có kiểm soát:

• Ghim claude-sonnet@2026-05 thay vì latest.
• Khi có model mới, chạy song song (shadow) trên golden set trước.
• Prompt đổi cũng qua canary như code.

Runbook & On-call cho agent

Agent production cần runbook — hướng dẫn xử lý sự cố. Các sự cố đặc thù của agent:

• Vòng lặp vô hạn / bão tool call → có max steps, circuit breaker, kill switch.
• Chi phí tăng đột biến → gateway throttle team, cảnh báo.
• Chất lượng tụt sau khi đổi model → rollback về phiên bản pin.
• Guardrail kích hoạt bất thường → có thể đang bị prompt injection tấn công.

# kill switch toàn cục cho một agent
if registry.get("support-summarizer").killed:
    return "Agent tạm dừng để bảo trì."

Các bước đưa agent ra production

• Cổng sẵn sàng (readiness gate): eval đạt ngưỡng, có owner on-call, có runbook, guardrails đúng tier.
• Bật qua feature flag ở canary 5%, gắn dashboard theo dõi realtime.
• Định nghĩa auto-rollback theo eval online + error rate + cost.
• Pin model & prompt version, cấm dùng latest ở production.
• Cài kill switch và circuit breaker để dừng nhanh khi cần.
• Lên lịch retro sau mỗi sự cố để cập nhật runbook và guardrails.

Khung tư duy: SLO cho agent

Đặt mục tiêu vận hành đo được, ví dụ:

• Chất lượng: eval online >= 0.85, thumbs-up >= 80%.
• Độ trễ: p95 < 4s.
• Độ tin cậy: error rate < 2%.
• Chi phí: <= X USD / 1000 request.

Khi vi phạm SLO nhiều lần, agent bị đưa lại review thay vì để trôi.

Checklist go-live

• [ ] Eval offline đạt ngưỡng + có golden set.
• [ ] Có owner on-call và runbook.
• [ ] Rollout canary + auto-rollback cấu hình sẵn.
• [ ] Model & prompt được pin phiên bản.
• [ ] Có kill switch, circuit breaker, max steps.
• [ ] SLO và alert đã bật.

Sai lầm thường gặp

• Bật 100% ngay ngày đầu: lỗi lan ra toàn bộ người dùng, không kịp trở tay.
• Dùng model latest: nhà cung cấp cập nhật là hành vi đổi, chất lượng trôi không rõ nguyên nhân.
• Không có kill switch: agent lỗi/tốn kém mà phải chờ deploy mới để dừng.
• Không có max steps: một vòng lặp tool đốt hết ngân sách trong đêm.
• Coi prompt là chuyện nhỏ: đổi prompt không qua canary, chất lượng rơi mà không rollback được.

Bài cuối: đưa tất cả vào một tình huống cuộn (scale) toàn công ty và xây văn hóa CoE bền vững.