Ba kiểu kết hợp modality
Khi thiết kế sản phẩm multimodal, có ba kiểu kiến trúc phổ biến mà PM cần phân biệt:
- Fusion sớm (early fusion / native multimodal): một mô hình duy nhất nhận cùng lúc nhiều modality. Ví dụ mô hình nhận cả ảnh và text trong một prompt. Ưu điểm: hiểu ngữ cảnh liên modality tốt. Nhược: đắt hơn, khó kiểm soát từng bước.
- Pipeline nối tiếp (cascade): mỗi modality qua một mô hình chuyên biệt rồi nối lại. Ví dụ audio → mô hình Speech-to-Text → text → mô hình ngôn ngữ (LLM) → trả lời → mô hình Text-to-Speech → audio. Ưu điểm: dễ debug, thay từng mảnh, rẻ hơn. Nhược: lỗi tích lũy qua từng bước.
- Kết hợp lai (hybrid): dùng mô hình chuyên biệt cho tiền xử lý (OCR, tách nền, khử nhiễu) rồi đưa vào mô hình multimodal chính.
Ví dụ cụ thể: App khai báo chi phí công tác
Người dùng chụp ảnh hóa đơn (image) và nói một câu ghi chú "đây là bữa trưa với khách hàng ABC" (audio). Luồng xử lý:
- Bước 1 - Audio: Speech-to-Text chuyển câu nói thành text ghi chú.
- Bước 2 - Image: OCR + mô hình vision đọc hóa đơn, trích số tiền, ngày, tên nhà hàng.
- Bước 3 - Fusion: LLM ghép ghi chú + dữ liệu hóa đơn thành một bản khai báo có cấu trúc (JSON): số tiền, hạng mục, đối tác.
- Bước 4 - Xác nhận: hiển thị lại cho người dùng kiểm tra trước khi lưu.
Khung tư duy: "Grounding và Alignment"
Hai khái niệm cốt lõi khi ghép modality:
- Grounding: câu trả lời phải "bám" vào dữ liệu thật trong ảnh/audio, không bịa. Ví dụ nếu hóa đơn ghi 250.000đ, mô hình không được tự suy diễn thành 205.000đ.
- Alignment (căn chỉnh): đảm bảo các modality nói về cùng một đối tượng. Nếu người dùng nói về "bữa trưa" nhưng chụp nhầm hóa đơn xăng, hệ thống nên phát hiện mâu thuẫn và hỏi lại.
Thiết kế trải nghiệm cho đầu vào kém
Người dùng thật không hoàn hảo. PM cần thiết kế:
- Hướng dẫn chụp/ghi âm: khung ngắm, gợi ý "chụp thẳng, đủ sáng".
- Phát hiện chất lượng thấp sớm: nếu ảnh quá mờ, yêu cầu chụp lại NGAY thay vì để mô hình đoán mò.
- Vòng xác nhận (confirmation loop): luôn cho người dùng kiểm tra kết quả trích xuất trước khi hành động không thể hoàn tác.
Checklist thiết kế luồng multimodal
- [ ] Đã vẽ sơ đồ luồng từng modality đi qua những mô hình nào chưa?
- [ ] Mỗi bước có điểm kiểm tra chất lượng (quality gate) không?
- [ ] Có cơ chế phát hiện mâu thuẫn giữa các modality?
- [ ] Latency tổng cộng có chấp nhận được với người dùng không?
- [ ] Có bước xác nhận trước hành động rủi ro cao không?
Sai lầm thường gặp
- Nhồi mọi thứ vào một prompt khổng lồ: gửi ảnh gốc chưa nén + audio dài + text vào một lần, gây tốn kém và latency cao.
- Bỏ qua lỗi tích lũy: trong pipeline cascade, sai sót ở Speech-to-Text lan sang toàn bộ các bước sau nhưng không ai đo lỗi ở từng chặng.
- Không grounding: mô hình trả lời trôi chảy nhưng bịa số liệu không có trong ảnh - rất nguy hiểm với sản phẩm tài chính/y tế.
- Thiếu vòng xác nhận: tự động lưu/gửi kết quả sai mà người dùng không kịp sửa.
Tổng kết
Kết hợp modality không chỉ là kỹ thuật ghép mô hình mà là bài toán thiết kế luồng, kiểm soát chất lượng từng chặng và đảm bảo grounding. PM giỏi chia nhỏ luồng, đặt quality gate ở đúng chỗ và luôn giữ con người trong vòng kiểm soát khi rủi ro cao.