(không chỉ "chạy được là xong")
Một AI agent "chạy được" trong demo và một agent "đáng tin trong production" là hai thứ khác nhau hoàn toàn. Demo bạn thử 5 lần, thấy nó trả lời ổn là gật đầu. Nhưng khi 500 người dùng thật gõ những câu bạn không lường trước, agent bắt đầu: đi lạc mục tiêu, gọi tool sai, lặp vô hạn, hoặc "bịa" ra kết quả tự tin. Bài này xây khung tư duy về tại sao và đo cái gì.
Vấn đề cốt lõi: Agent là hệ thống phi tất định (non-deterministic)
Với code thường, cùng input → cùng output. Bạn viết unit test một lần là xong. Agent thì khác: cùng một câu hỏi, chạy 2 lần có thể ra 2 đường đi khác nhau vì LLM có tính ngẫu nhiên (temperature), context thay đổi, tool trả về dữ liệu khác. Vì vậy không thể chỉ dựa vào "thử tay" (vibe check). Bạn cần đo lường có hệ thống.
Ví dụ cụ thể: Agent hỗ trợ khách hàng của bạn được hỏi "Đơn #A123 của tôi bao giờ giao?".
- Lần 1: agent gọi tool
lookup_order, trả lời đúng. - Lần 2: agent quên gọi tool, "đoán" là "3-5 ngày" → sai, khách nổi giận.
4 loại lỗi đặc trưng của agent (khác hẳn bug phần mềm thường)
- Đi lạc mục tiêu (goal drift): Được giao đặt lịch họp, nó lại đi tóm tắt email.
- Lặp vô hạn (loop): Gọi cùng một tool 20 lần vì không đọc được kết quả trả về.
- Ảo giác / bịa (hallucination): Trả lời tự tin nhưng sai sự thật.
- Lỗi công cụ (tool misuse): Gọi tool sai, truyền tham số sai định dạng, không xử lý khi tool báo lỗi.
Khung 3 tầng để nghĩ về chất lượng agent
Tầng 3: Outcome — Nhiệm vụ có HOÀN THÀNH đúng không? (task completion)
Tầng 2: Trajectory — Đường ĐI có hợp lý không? (gọi đúng tool, đúng thứ tự, không lặp)
Tầng 1: Turn — Từng CÂU trả lời/hành động có đúng không? (format, nội dung)
Một agent có thể đúng ở tầng 1 (câu chữ mượt) nhưng sai tầng 3 (không giải quyết được việc). Đánh giá tốt phải chạm cả 3 tầng — đây là kim chỉ nam cho cả khóa học.
Đánh giá vs. Debug: hai mặt của một đồng xu
- Đánh giá (eval): đo có vấn đề không và nghiêm trọng cỡ nào — trả lời bằng con số, chạy tự động, so được giữa các phiên bản.
- Debug: tìm vấn đề nằm ở đâu và vì sao — dựa vào trace để lần ngược từng bước.
Các bước để bắt đầu đúng ngay từ đầu
- Viết ra "định nghĩa thành công" cho agent bằng 1 câu: "Agent thành công khi ______." Ví dụ: "khi khách nhận được ngày giao đúng, dựa trên dữ liệu thật từ hệ thống."
- Liệt kê 5-10 kịch bản thật người dùng sẽ dùng (cả ca dễ lẫn ca khó/gài bẫy).
- Với mỗi kịch bản, ghi rõ tín hiệu đúng/sai có thể kiểm tra bằng máy (ví dụ: "phải gọi tool lookup_order", "không được chứa ngày bịa").
- Quyết định 1-2 chỉ số chính để theo dõi (thường là task completion rate + loop rate).
- Cam kết log lại mọi lần chạy (bài 2) — không có log thì không debug được.
Sai lầm thường gặp
- "Demo chạy ổn nên deploy luôn": Demo là mẫu thiên vị (bạn vô thức hỏi những câu agent làm tốt). Luôn test bằng bộ kịch bản cố định.
- Đo bằng cảm tính ("nghe có vẻ hay"): Không lặp lại được, không so sánh được giữa các phiên bản. Phải có tiêu chí máy chấm được.
- Chỉ đo tầng 1 (chất lượng câu chữ): Bỏ sót việc agent không hoàn thành nhiệm vụ dù nói năng trôi chảy.
- Nghĩ agent giống code thường: Không viết test lặp lại, không lường tính ngẫu nhiên → sập trong production.
Checklist kết bài
- [ ] Đã viết 1 câu "định nghĩa thành công".
- [ ] Có ít nhất 5 kịch bản thật (gồm ca gài bẫy).
- [ ] Mỗi kịch bản có tín hiệu đúng/sai máy chấm được.
- [ ] Chọn được 1-2 chỉ số chính để theo dõi.