RAG & Evaluation for AI Features

RAG là gì — giải thích không dùng thuật ngữ

Model ngôn ngữ biết rất nhiều thứ chung chung và không biết gì về công ty bạn. Nó chưa từng đọc chính sách đổi trả của bạn, hợp đồng của bạn, tài liệu nội bộ của bạn.

RAG (Retrieval-Augmented Generation — sinh câu trả lời có tìm kiếm hỗ trợ) là cách vá lỗ hổng đó mà không phải huấn luyện lại model: khi người dùng hỏi, hệ thống đi tìm vài đoạn tài liệu liên quan nhất, dán chúng vào prompt, rồi mới hỏi model. Model trả lời dựa trên đoạn vừa được đưa, không dựa vào trí nhớ mơ hồ.

Ví von: thay vì bắt một người học thuộc cả thư viện, bạn đưa cho họ đúng ba trang cần thiết ngay trước khi hỏi.

Lợi ích kéo theo, và đây mới là lợi ích lớn nhất: vì bạn biết chính xác đoạn nào đã được đưa vào, bạn trích dẫn được nguồn. Đó là thứ biến một sản phẩm AI thú vị thành một sản phẩm AI dùng được trong công việc nghiêm túc.

Khi nào dùng RAG, khi nào không

Dòng cuối là dòng hay bị làm sai nhất và là lỗi bảo mật nghiêm trọng nhất của RAG trong doanh nghiệp: nhân viên hỏi một câu và nhận được nội dung từ tài liệu họ không có quyền đọc.

Đường đi của một câu hỏi — năm chặng, mỗi chặng hỏng một kiểu

Điều cần nhớ khi đi sửa lỗi: phần lớn câu trả lời tệ đến từ chặng 3, không phải chặng 5. Đội thường dành hàng tuần chỉnh prompt trong khi vấn đề là hệ thống lấy về nhầm đoạn. Luôn kiểm chặng 3 trước.

Cắt tài liệu — chi tiết nhỏ quyết định chất lượng

• Cắt theo cấu trúc, không cắt theo số ký tự. Theo mục, theo điều khoản, theo đề mục. Cắt máy móc mỗi 500 ký tự sẽ cắt ngang bảng và giữa câu.
• Cho các đoạn chồng lấn nhau một chút (khoảng 10–15%), để câu nằm ở ranh giới không bị mất ngữ cảnh.
• Gắn kèm thông tin định danh vào mỗi đoạn — tên tài liệu, mục, ngày hiệu lực. Không có nó thì không trích dẫn được, và model không biết đoạn nào mới đoạn nào cũ.
• Đoạn quá dài cũng tệ như đoạn quá ngắn. Dài thì kéo theo nhiễu, ngắn thì mất ngữ cảnh. Bắt đầu quanh mức một mục tài liệu, rồi đo mà chỉnh.

Đo chất lượng — tách hai phần, đừng đo gộp

Đây là điểm quan trọng nhất của cả kỹ năng này. "Câu trả lời tệ" là triệu chứng, không phải chẩn đoán. Phải đo riêng hai phần:

Nếu tìm kiếm trúng 60% thì trần chất lượng của bạn là 60%, và mọi công sức chỉnh prompt đều lãng phí. Sửa tìm kiếm trước.

Ba tiêu chí chấm câu trả lời:

• Có căn cứ: mọi khẳng định đều truy được về đoạn đã đưa. Đây là tiêu chí quan trọng nhất — nó bắt đúng hành vi bịa.
• Đúng trọng tâm: có trả lời đúng câu được hỏi, hay trả lời một câu gần giống.
• Đầy đủ: có bỏ sót phần quan trọng nào trong đoạn đã đưa không.

Bộ câu hỏi chuẩn — tài sản quan trọng nhất, và cách dựng nó

Không có bộ câu hỏi chuẩn thì mọi thay đổi đều là đoán. Cách dựng, trong một buổi:

• Lấy 50–100 câu hỏi THẬT từ log, từ tổng đài, từ nhóm chat nội bộ. Đừng tự nghĩ ra câu hỏi — câu tự nghĩ luôn dễ hơn câu thật.
• Với mỗi câu, ghi rõ đoạn tài liệu nào chứa câu trả lời. Đây là phần tốn công nhất và là phần làm cho cả bộ có giá trị.
• Cố tình gồm cả ca xấu: câu hỏi mơ hồ, câu mà tài liệu không có câu trả lời (đáp án đúng là "không tìm thấy"), câu chạm nhiều tài liệu mâu thuẫn nhau.
• Chạy lại toàn bộ trước mỗi lần phát hành, so với lần trước, và chặn phát hành nếu tụt.
• Bổ sung mỗi khi gặp lỗi thật. Mỗi lỗi người dùng báo về sẽ thành một ca mới, để nó không quay lại lần thứ hai.

Nhóm câu "tài liệu không có câu trả lời" là nhóm hay bị bỏ nhất và là nhóm phân biệt sản phẩm nghiêm túc với sản phẩm demo: một hệ thống nói được "tôi không tìm thấy" đáng tin hơn hẳn một hệ thống luôn có câu trả lời.

Ba tình huống thực tế

Trợ lý chính sách nội bộ (500 nhân viên). Tài liệu là sổ tay nhân sự. Cắt theo mục. Điểm chết người: phân quyền — nhân viên không được thấy nội dung lương của phòng khác, nên phải lọc quyền trước khi tìm. Bộ chuẩn lấy từ câu hỏi thật gửi phòng nhân sự trong 6 tháng.

Tra cứu hợp đồng (công ty dịch vụ). Tài liệu là hàng nghìn hợp đồng có cấu trúc giống nhau. Cắt theo điều khoản, gắn kèm mã hợp đồng và ngày hiệu lực — nếu không, model trộn điều khoản của hai hợp đồng khác nhau, lỗi rất khó phát hiện. Bắt buộc trích dẫn về đúng điều khoản.

Hỗ trợ khách hàng (thương mại điện tử). Trộn hai nguồn: tài liệu tĩnh (chính sách) và dữ liệu động (đơn hàng của chính người hỏi). Hai nguồn cần hai đường lấy khác nhau; gộp chung vào một chỉ mục là sai lầm kinh điển, vì dữ liệu đơn hàng đổi từng phút.

Hiccups thường gặp và cách xử lý

Vì sao vai trò của bạn cần cái này

Definition of done

• Đo riêng được chất lượng tìm kiếm và chất lượng câu trả lời.
• Bộ câu hỏi chuẩn 50+ câu lấy từ câu hỏi thật, có ghi đoạn đúng cho từng câu.
• Bộ chuẩn gồm cả nhóm ca "tài liệu không có câu trả lời".
• Mỗi đoạn mang theo nguồn và ngày hiệu lực, đủ để trích dẫn.
• Phân quyền được áp trong truy vấn tìm kiếm, đã kiểm bằng một ca thật.
• Bộ chuẩn chạy tự động và chặn phát hành khi điểm tụt.