Fine-tuning vs RAG vs prompting

Vì sao hiểu ba cách này quan trọng

Prompting, RAG và fine-tuning là ba cách chính để làm cho LLM phù hợp với nhu cầu riêng. Mỗi cách có chi phí, tốc độ và mục đích khác nhau. Chọn sai cách khiến dự án chậm, tốn tiền, hoặc không đạt chất lượng.

Cái giá cụ thể: một công ty logistics Việt Nam muốn trợ lý trả lời theo giọng văn thương hiệu và dùng thuật ngữ ngành. Đội định fine-tune ngay từ đầu, tốn nhiều tháng chuẩn bị dữ liệu và ngân sách lớn. Thực ra chỉ cần prompting kỹ với vài ví dụ mẫu là đạt được giọng văn mong muốn. Ngược lại, một đội khác cố nhồi kiến thức nội bộ vào prompt trong khi lẽ ra phải dùng RAG, dẫn tới vượt context window liên tục.

Hiểu ba cách này giúp PM chọn đúng công cụ cho đúng bài toán, tiết kiệm thời gian và tiền bạc.

Bức tranh lớn

Prompting là ra chỉ dẫn khéo léo trong prompt, không đổi mô hình, nhanh và rẻ nhất. RAG là cấp dữ liệu riêng qua truy hồi khi cần kiến thức cập nhật. Fine-tuning là huấn luyện lại mô hình trên dữ liệu của bạn để đổi hành vi cốt lõi, tốn kém và chậm nhất.

graph TD
A[Nhu cau san pham] --> B[Chi doi cach dien dat]
A --> C[Can kien thuc rieng]
A --> D[Can doi hanh vi coi loi]
B --> E[Prompting]
C --> F[RAG]
D --> G[Fine tuning]

Nguyên tắc chọn: bắt đầu bằng prompting vì rẻ nhất. Nếu cần kiến thức riêng hay cập nhật, thêm RAG. Chỉ fine-tune khi hai cách kia không đủ, thường là khi cần định dạng đầu ra rất ổn định hoặc phong cách sâu.

Ví dụ chi tiết

Một sàn tuyển dụng ở Việt Nam muốn AI viết mô tả công việc theo chuẩn thương hiệu và gợi ý ứng viên phù hợp từ hồ sơ nội bộ.

Bước 1: PM tách bài toán thành hai phần: viết theo giọng văn và truy xuất hồ sơ ứng viên.

Bước 2: Với phần giọng văn, đội thử prompting kèm ba ví dụ mẫu. Kết quả đạt chuẩn thương hiệu ngay, không cần fine-tune.

Bước 3: Với phần gợi ý ứng viên, dữ liệu hồ sơ thay đổi hằng ngày, nên đội dùng RAG để truy hồi hồ sơ liên quan.

Bước 4: PM cân nhắc fine-tune để cải thiện độ nhất quán, nhưng tính ra chi phí cao và lợi ích nhỏ, nên hoãn lại.

Bước 5: Sau ba tháng, đội chỉ fine-tune khi thấy một định dạng đầu ra cần độ ổn định rất cao mà prompting không đảm bảo. Nhờ đi từ rẻ đến đắt, dự án ra mắt nhanh và trong ngân sách.

Lộ trình từng bước để làm chủ

graph TD
A[Thu prompting truoc] --> B[Danh gia ket qua]
B --> C[Thieu kien thuc rieng]
C --> D[Them RAG]
B --> E[Thieu on dinh hanh vi]
E --> F[Can nhac fine tuning]
D --> G[Do luong lai]
F --> G

Luôn thử prompting trước vì rẻ và nhanh. Đánh giá kết quả. Nếu thiếu kiến thức riêng thì thêm RAG. Nếu thiếu độ ổn định hành vi thì cân nhắc fine-tuning. Sau mỗi bước, đo lường lại để xác nhận đáng công sức.

Thói quen & kỷ luật

Working mindset: đi từ rẻ đến đắt, chỉ leo lên bậc phức tạp hơn khi có bằng chứng cần thiết.

Cần luyện tập gì (drills)

Drill 1: Lấy năm tính năng AI giả định và phân loại mỗi tính năng nên dùng prompting, RAG hay fine-tuning kèm lý do.

Drill 2: Viết bảng so sánh chi phí, tốc độ và độ ổn định của ba cách cho một bài toán cụ thể.

Drill 3: Thử đạt một mục tiêu giọng văn bằng prompting trước khi nghĩ tới fine-tune, ghi lại điểm dừng.

Checklist hành động tuần này

• [ ] Phân loại ba tính năng hiện có theo prompting, RAG hay fine-tuning
• [ ] Viết bảng đánh đổi chi phí và tốc độ cho một quyết định
• [ ] Tìm một tính năng đang dùng cách phức tạp quá mức và đề xuất hạ cấp
• [ ] Thảo luận với đội kỹ thuật về ngưỡng nên fine-tune
• [ ] Ghi lại nguyên tắc chọn cách cho sản phẩm của bạn

Chỉ số & North Star

North Star cho bài này: mỗi tính năng dùng cách đơn giản nhất đủ đạt mục tiêu.

Dấu hiệu bạn đã thành thạo

Bạn phân loại nhanh một bài toán nên dùng cách nào và giải thích được đánh đổi. Bạn phản xạ thử prompting trước. Bạn chỉ đề xuất fine-tune khi có bằng chứng rõ ràng rằng hai cách kia không đủ.

Cạm bẫy thường gặp

Chốt lại

• Prompting rẻ và nhanh nhất, luôn thử trước.
• RAG dành cho kiến thức riêng và hay thay đổi.
• Fine-tuning tốn kém, chỉ dùng khi cần độ ổn định hoặc phong cách sâu.
• Đi từ rẻ đến đắt và đo lường ở mỗi bước.