Offline eval: golden set & rubric

Vì sao offline eval quan trọng

Offline eval là việc đánh giá mô hình trên một bộ dữ liệu cố định trước khi đưa ra người dùng thật. Nó giống như dây chuyền kiểm tra chất lượng trong nhà máy: sản phẩm phải qua ải trước khi ra kệ. Với sản phẩm LLM, offline eval là tấm lưới an toàn giúp bạn bắt lỗi sớm, rẻ, và lặp lại được bao nhiêu lần tùy thích mà không phiền người dùng.

Nếu thiếu kỹ năng này, cái giá là bạn buộc phải học trên lưng khách hàng thật. Mỗi lần đổi prompt, bạn đẩy thẳng ra production và cầu may. Khi có sự cố, bạn không có baseline để biết bản mới tệ hơn ở đâu. Đội mất hàng giờ tranh cãi "tôi thấy nó tốt hơn" trong khi không ai có số liệu. Với sản phẩm nghiêm túc như trợ lý y tế hay tài chính, ship mù kiểu này có thể gây hậu quả pháp lý và mất khách hàng vĩnh viễn.

Golden set và rubric là hai trụ cột của offline eval. Golden set là bộ ca kiểm thử đại diện, có đáp án tham chiếu. Rubric là bảng tiêu chí chấm điểm rõ ràng. Có cả hai, bạn biến "chất lượng" mơ hồ thành con số so sánh được.

Bức tranh lớn

graph TD
A[Golden set cac ca kiem thu] --> B[Chay mo hinh tren tung ca]
B --> C[So voi dap an tham chieu]
C --> D[Cham diem theo rubric]
D --> E[Tong hop diem so trung binh]
E --> F[So voi baseline truoc do]
F --> G[Quyet dinh giu hay bo thay doi]

Ý tưởng cốt lõi: bạn tách chất lượng thành các ca cụ thể có thể chấm được. Golden set không cần khổng lồ, nhưng phải đại diện cho các tình huống thật, gồm cả ca dễ, ca khó, và ca dễ gây lỗi. Rubric biến sự chủ quan thành thang điểm. Ví dụ tiêu chí đúng dữ kiện chấm từ 0 đến 2, tiêu chí giọng điệu chấm từ 0 đến 1. Cộng lại thành điểm tổng cho mỗi phản hồi.

Ví dụ chi tiết

Một startup edtech ở Hà Nội làm trợ lý giải bài tập toán lớp 9.

Bước 1: Đội thu thập 50 câu hỏi thật từ log học sinh, chọn đủ dạng: đại số, hình học, câu bẫy dễ sai dấu.

Bước 2: Một giáo viên toán viết đáp án chuẩn và lời giải mẫu cho từng câu. Đây là golden set.

Bước 3: Đội lập rubric ba tiêu chí. Đúng kết quả cuối chấm 0 hoặc 2. Lời giải mạch lạc chấm 0 đến 2. Không bịa bước sai chấm 0 hoặc 1. Tổng tối đa 5 điểm mỗi câu.

Bước 4: Chạy mô hình trên 50 câu, chấm theo rubric. Điểm trung bình chỉ đạt 3.1 trên 5. Phân tích cho thấy mô hình hay bịa bước trung gian ở bài hình học.

Bước 5: Họ chỉnh prompt yêu cầu mô hình trình bày từng bước và kiểm tra lại đáp án. Chạy lại golden set, điểm lên 4.2. Vì golden set cố định, họ chắc chắn cải thiện là thật chứ không phải may.

Bước 6: Họ thêm 20 ca khó mới vào golden set để nó không bị lỗi thời, rồi khóa phiên bản làm baseline cho các lần sau.

Kết quả là mỗi thay đổi prompt sau này đều được đo trước khi ship, tiết kiệm rất nhiều rủi ro.

Lộ trình từng bước để làm chủ

graph LR
A[Thu thap ca thuc te tu log] --> B[Chon ca da dang dai dien]
B --> C[Viet dap an tham chieu]
C --> D[Thiet ke rubric ro rang]
D --> E[Chay va cham diem]
E --> F[Phan tich ca sai]
F --> G[Cai thien va chay lai]
G --> H[Cap nhat golden set dinh ky]

Lộ trình bắt đầu bằng thu thập ca thật, vì ca bịa không phản ánh đúng nhu cầu. Chọn ca đa dạng để phủ các tình huống. Viết đáp án tham chiếu để có mốc so sánh. Thiết kế rubric để chấm nhất quán. Chạy, chấm, phân tích ca sai, cải thiện rồi chạy lại. Cuối cùng cập nhật golden set định kỳ để nó luôn phản ánh thực tế.

Thói quen & kỷ luật

Working mindset: Golden set là tài sản, không phải chi phí. Càng chăm sóc nó, sản phẩm càng đáng tin.

Cần luyện tập gì (drills)

Drill 1: Lấy một tính năng LLM và tự tay xây golden set 20 ca từ log thật hoặc tình huống thực tế, mỗi ca kèm một đáp án tham chiếu.

Drill 2: Viết một rubric ba tiêu chí với thang điểm rõ ràng, rồi nhờ một đồng nghiệp chấm cùng năm phản hồi và so xem hai người có lệch nhau nhiều không.

Drill 3: Chạy mô hình trên golden set, tìm ba ca điểm thấp nhất, và viết giả thuyết vì sao mô hình sai ở đó.

Checklist hành động tuần này

• [ ] Lập golden set tối thiểu 20 ca cho một tính năng
• [ ] Viết đáp án tham chiếu cho từng ca
• [ ] Thiết kế rubric với thang điểm cụ thể cho mỗi tiêu chí
• [ ] Chạy eval và lưu điểm số làm baseline
• [ ] Đưa quy trình chạy golden set vào bước duyệt thay đổi prompt

Chỉ số & North Star

North Star ở đây là điểm rubric trung bình trên golden set, xu hướng tăng dần và không tụt khi ship bản mới.

Dấu hiệu bạn đã thành thạo

Bạn có một golden set sống, được cập nhật đều và cả đội tin dùng. Bạn không bao giờ ship thay đổi prompt mà không kèm điểm số so sánh. Rubric của bạn đủ rõ để hai người chấm ra kết quả gần nhau. Và bạn biết chọn ca khó để golden set thực sự thử thách mô hình.

Cạm bẫy thường gặp

Chốt lại

• Offline eval là tấm lưới an toàn rẻ và lặp lại được trước khi ra người dùng.
• Golden set và rubric biến chất lượng mơ hồ thành số liệu so sánh được.
• Golden set phải đại diện, đa dạng, và được cập nhật để không lỗi thời.
• Không ship thay đổi prompt mà thiếu điểm số so với baseline.