Bài 2 — Chất lượng nhận dạng tiếng Việt (ASR) và chỉ số WER

Tại sao tiếng Việt khó với ASR

Tiếng Việt đặt ra những thách thức riêng mà PM phải hiểu để đặt kỳ vọng đúng:

• Thanh điệu (6 thanh): "ma, má, mà, mả, mã, mạ" — sai thanh là sai nghĩa. ASR huấn luyện chủ yếu trên tiếng Anh xử lý thanh điệu kém.
• Phương ngữ: giọng Bắc, Trung, Nam khác nhau đáng kể. Mô hình huấn luyện lệch về giọng Hà Nội sẽ nhận giọng Nghệ An rất tệ.
• Tách từ mơ hồ: tiếng Việt viết rời từng âm tiết, một chuỗi âm có thể tách thành nhiều nghĩa.
• Từ mượn và tên riêng: "iPhone", "Grab", "Shopee", tên người — thường bị nhận sai.

WER — chỉ số PM bắt buộc phải đọc được

WER (Word Error Rate) = (Số từ Thay + số từ Xóa + số từ Chèn) / Tổng số từ trong câu chuẩn.

Ví dụ câu chuẩn: "đặt báo thức bảy giờ sáng" (5 từ). ASR ra: "đặt báo thức bảy giờ" — thiếu 1 từ (Xóa). WER = 1/5 = 20%.

Ghi nhớ:

• WER 5% = rất tốt (gần như con người).
• WER 10–15% = dùng được cho lệnh ngắn.
• WER > 25% = trải nghiệm gãy, người dùng bỏ.

Cảnh báo: WER trung bình che giấu vấn đề. WER tổng thể 10% nghe ổn, nhưng nếu tách theo phương ngữ, giọng Nam có thể là 8% còn giọng Trung là 22%. PM phải luôn phân tách (segment) chỉ số.

Ngoài WER: những chỉ số bổ sung

• Entity Error Rate: tỉ lệ nhận sai các thực thể quan trọng (số điện thoại, tên, ngày giờ). Một câu sai 1 từ đệm không sao, nhưng sai số tiền chuyển khoản là thảm họa.
• Semantic accuracy: cuối cùng người dùng có được đúng việc không? Đôi khi WER cao nhưng NLU vẫn hiểu đúng ý.
• Confidence calibration: điểm tin cậy ASR có phản ánh đúng độ đúng thật không.

Ví dụ cụ thể

App ngân hàng bằng giọng nói. Người dùng nói: "Chuyển hai triệu năm trăm nghìn cho Hùng." ASR ra "Chuyển hai triệu năm trăm nghìn cho Hùng" — WER 0%. Nhưng nếu ra "Chuyển hai triệu năm mươi nghìn" thì WER chỉ ~11% (sai 1 từ) mà hậu quả tài chính khổng lồ. Bài học: với miền nhạy cảm, luôn đọc lại số tiền để xác nhận, đừng tin vào WER thấp.

Khung tư duy: cải thiện ASR tiếng Việt theo thứ tự ưu tiên

• Dữ liệu trước, mô hình sau: thu âm thật từ người dùng mục tiêu (đủ phương ngữ, đủ tiếng ồn) thường tăng chất lượng nhiều hơn đổi mô hình.
• Domain adaptation: thêm từ vựng riêng của sản phẩm (tên sản phẩm, tên đối tác) vào từ điển/biasing.
• Xử lý số và ngày giờ: dùng module chuẩn hóa (normalization) riêng cho tiếng Việt.
• Fallback bằng xác nhận: khi confidence thấp, hỏi lại thay vì đoán.

Checklist đánh giá một nhà cung cấp ASR

• [ ] Có báo cáo WER RIÊNG cho tiếng Việt, không phải trung bình toàn cầu
• [ ] Có tách chỉ số theo phương ngữ Bắc/Trung/Nam
• [ ] Cho phép custom vocabulary / biasing
• [ ] Hỗ trợ streaming (trả kết quả từng phần) để giảm độ trễ cảm nhận
• [ ] Trả về điểm confidence dùng được
• [ ] Có điều khoản dữ liệu rõ ràng (audio có bị dùng để train không)

Sai lầm thường gặp

• Tin vào WER quảng cáo của vendor: con số thường đo trên audio phòng thu, sạch, giọng chuẩn — không giống thực tế.
• Không phân tách chỉ số: bỏ sót nhóm người dùng phương ngữ bị phục vụ kém.
• Bỏ qua Entity Error Rate: tối ưu WER chung mà để lọt lỗi ở số tiền, số điện thoại.
• Không đầu tư dữ liệu thật: kỳ vọng mô hình chung giải quyết được đặc thù sản phẩm.

Bài 3 sẽ ghép ASR vào bức tranh lớn hơn: ngân sách độ trễ toàn pipeline.