Bài 7 — Use case thực tế: từ callbot tổng đài tới trợ lý hiện trường

Lý thuyết đã đủ. Bài này ghép mọi thứ vào ba use case thường gặp ở Việt Nam, kèm quyết định kiến trúc cụ thể để bạn sao chép làm mẫu.

Use case 1 — Callbot tổng đài chăm sóc khách hàng

Bối cảnh: điện thoại (PSTN/SIP), khách hỏi tình trạng đơn, đổi lịch giao, khiếu nại.

Quyết định kiến trúc:

• Cascaded, vì cần tra cứu đơn hàng, xác thực khách — nghiệp vụ chặt.
• ASR cấu hình cho audio 8kHz điện thoại + phrase hints (mã đơn, tên sản phẩm).
• Filler bắt buộc khi tra cứu backend.
• Escalation: khi khách bực (phát hiện qua từ khóa/giọng) hoặc quá 2 lần không hiểu → chuyển người thật.

SIP → ASR(8kHz) → LLM(+tools: get_order, reschedule) → TTS → SIP
                     └─ escalate_to_human() khi cần

Các bước triển khai:

• Kết nối SIP trunk, chuẩn hóa audio.
• Viết tool get_order, reschedule idempotent.
• Thiết kế prompt trả lời ngắn, xác nhận thông tin ghi.
• Cắm luồng escalation và log toàn bộ transcript để QA.

Use case 2 — Trợ lý hiện trường đa phương thức

Bối cảnh: kỹ thuật viên lắp đặt tại nhà khách, tay bận, dùng giọng nói + camera điện thoại.

Quyết định kiến trúc:

• Multimodal late fusion: ảnh thiết bị (OCR model/số serial) + giọng nói hỏi quy trình.
• RAG: tra cứu tài liệu kỹ thuật nội bộ theo model thiết bị.
• Hands-free: barge-in nhạy, câu trả lời ngắn từng bước.

Ví dụ: kỹ thuật viên chụp nhãn model → nói "cách reset con này?" → agent OCR số model, tra tài liệu, đọc từng bước, chờ xác nhận "xong" mới đọc bước tiếp.

Use case 3 — Voice message trong app (bất đồng bộ)

Bối cảnh: khách gửi tin nhắn thoại trong app, không cần thời gian thực.

Quyết định kiến trúc:

• Batch ASR (chính xác cao, không cần streaming).
• LLM xử lý, có thể chạy tool nặng vì không nhạy trễ.
• Trả lời bằng text + TTS audio để khách nghe lại.

Đây là use case dễ nhất để khởi đầu vì bỏ được toàn bộ áp lực độ trễ realtime. Nhiều đội nên bắt đầu từ đây để làm chủ ASR/LLM/TTS trước khi bước vào realtime.

Use case 4 — Đặt hàng qua giọng nói kèm ảnh

Bối cảnh: khách gửi ảnh món/sản phẩm muốn mua + nói số lượng và địa chỉ.

Quyết định kiến trúc:

• Multimodal late fusion: vision nhận diện sản phẩm từ ảnh, ASR lấy số lượng/địa chỉ.
• Tool search_catalog khớp ảnh với SKU, create_order idempotent.
• Xác nhận lại toàn bộ đơn (tên món, số lượng, địa chỉ, tổng tiền) bằng SSML say-as trước khi chốt.

Khung chọn kiến trúc theo use case

Checklist khi lên use case mới

• [ ] Đồng bộ hay bất đồng bộ?
• [ ] Kênh gì (PSTN/WebRTC/app) → codec, sample rate?
• [ ] Cần modality nào ngoài giọng?
• [ ] Hành động nào cần xác nhận/idempotent?
• [ ] Điều kiện escalation sang người thật?
• [ ] Cần RAG tài liệu nội bộ không?

Sai lầm thường gặp

• Không có đường escalation. Agent kẹt vòng lặp không hiểu, khách phát điên; luôn có lối thoát sang người thật.
• Dùng streaming realtime cho voice message. Phức tạp thừa; batch đủ và chính xác hơn.
• Quên 8kHz cho điện thoại. Cấu hình ASR sai sample rate làm WER tăng vọt.
• Trả lời hiện trường quá dài. Kỹ thuật viên cần từng bước ngắn, chờ xác nhận, không phải đọc cả manual.
• Không log transcript. Không có dữ liệu để QA và cải thiện prompt/ASR.