Bài 4 — Quality Gate cho Retrain

Bài 4 — Quality Gate cho Retrain: đừng để mô hình mới phá hỏng mọi thứ

Retrain (huấn luyện lại) là con dao hai lưỡi: nó giúp mô hình bắt kịp thế giới, nhưng cũng có thể đưa vào một mô hình tệ hơn mà bạn không hay biết. Quality gate là hàng rào tự động quyết định: mô hình mới có được phép lên production không.

Vì sao retrain có thể làm mọi thứ tệ đi

• Dữ liệu mới bị nhiễm bẩn (data poisoning, bug ETL, nhãn sai).
• Học phải chính lỗi cũ: nếu mô hình cũ chặn nhầm nhóm khách, dữ liệu sinh ra sẽ thiên lệch, retrain khuếch đại thiên lệch — feedback loop.
• Overfit vào giai đoạn bất thường (train ngay trên tuần sale → lệch khi hết sale).
• Cải thiện metric tổng nhưng tệ đi ở nhóm quan trọng (accuracy trung bình tăng nhưng nhóm thiểu số giảm).

Quality gate gồm những "cửa" nào

Một quality gate tốt kiểm tra nhiều lớp, fail thì chặn:

• Data validation: schema đúng? phân phối hợp lý? không rò rỉ nhãn (data leakage)? đủ số mẫu?
• Performance threshold: mô hình mới phải ≥ mô hình cũ trên tập đánh giá cố định (holdout/backtest), không chỉ hơn trên tập train của chính nó.
• Segment / fairness check: không được tệ đi ở các nhóm quan trọng đã định nghĩa (vùng miền, thiết bị, phân khúc khách).
• Regression trên ca khó (golden set): một bộ ví dụ "phải luôn đúng" — nếu sai thì chặn, dù metric tổng đẹp.
• Operational check: latency, kích thước model, chi phí suy luận trong ngưỡng.
• Stability/robustness: hành vi ổn với input nhiễu, không nhạy cảm quá mức.

Chỉ khi qua hết, mô hình mới được đóng gói và bước vào deploy an toàn (shadow/canary ở Bài 3).

Khung tư duy: "Champion vs Challenger"

Mô hình đang chạy là champion. Mô hình mới là challenger. Challenger chỉ soán ngôi khi thắng champion trên cùng một sân đấu công bằng (cùng tập đánh giá, cùng metric, cùng nhóm). Nguyên tắc vàng: champion được lợi thế mặc định — khi hòa hoặc nghi ngờ, giữ champion. Ổn định đáng giá hơn cải thiện nhỏ đầy rủi ro.

Ví dụ cụ thể

Đội ML retrain mô hình chấm điểm rủi ro mỗi tuần. Một lần, quality gate bắt được:

• AUC tổng của challenger tăng 0.4% (nghe hấp dẫn), nhưng
• Golden set phát hiện 3 ca gian lận kinh điển giờ bị bỏ sót, và
• Nhóm "khách hàng mới" bị false-positive tăng 12%.

Gate chặn promotion tự động. Điều tra ra: dữ liệu train tuần đó thiếu nhãn gian lận (nhãn trễ chưa về) khiến mô hình "học" rằng gian lận hiếm hơn thực tế. Nhờ gate, thảm họa được ngăn trước khi chạm khách hàng — thay vì một cuộc điều tra sự cố tuần sau.

Checklist quality gate

• [ ] Có tập đánh giá cố định (frozen holdout/backtest) tách khỏi dữ liệu train.
• [ ] Có golden set các ca phải-luôn-đúng, cập nhật sau mỗi sự cố.
• [ ] Định nghĩa ngưỡng theo nhóm, không chỉ metric tổng.
• [ ] Kiểm tra data leakage và chất lượng nhãn trước khi tin metric.
• [ ] Gate tự động chặn (fail-closed) khi thiếu dữ liệu để đánh giá.
• [ ] Ghi lại lý do pass/fail để phục vụ audit (nối sang Bài 5).
• [ ] Nguyên tắc champion mặc định thắng khi hòa.

Sai lầm thường gặp

• Chỉ nhìn metric tổng. Trung bình đẹp che giấu thảm họa cục bộ.
• So challenger trên tập train của chính nó thay vì holdout công bằng → luôn "thắng" ảo.
• Gate fail-open: thiếu dữ liệu đánh giá thì... vẫn cho qua. Phải fail-closed.
• Không có golden set, nên regression trên ca kinh điển lọt lưới.
• Retrain theo lịch cứng bất chấp chất lượng dữ liệu — retrain trên rác thì ra rác.
• Bỏ qua feedback loop: dùng chính output thiên lệch của mô hình làm dữ liệu train mà không hiệu chỉnh.