Một trong những quyết định kiến trúc quan trọng nhất của PM CV là: mô hình sẽ chạy trên thiết bị (edge) hay trên máy chủ (cloud)? Lựa chọn này ảnh hưởng đến chi phí, tốc độ, quyền riêng tư và cả khả năng cập nhật sản phẩm.
Edge là gì? Cloud là gì?
- Edge: mô hình chạy ngay trên camera thông minh, điện thoại, hoặc một máy tính nhỏ (như Jetson) đặt tại chỗ. Ảnh được xử lý ngay, thường không rời khỏi thiết bị.
- Cloud: ảnh/video được gửi lên server (trung tâm dữ liệu) để xử lý, rồi trả kết quả về.
So sánh theo các trục PM cần cân nhắc
1. Latency (độ trễ): Edge phản hồi trong vài chục mili-giây vì không phải truyền dữ liệu đi xa. Cloud phụ thuộc đường truyền. Xe tự hành hay cảnh báo va chạm bắt buộc chạy edge.
2. Chi phí: Edge tốn tiền phần cứng ban đầu nhưng gần như miễn phí khi vận hành. Cloud rẻ lúc đầu nhưng chi phí GPU và băng thông tăng tuyến tính theo số camera/lượng ảnh — dễ bùng nổ ở quy mô lớn.
3. Quyền riêng tư: Edge giữ ảnh tại chỗ, hợp với dữ liệu nhạy cảm (khuôn mặt, bệnh viện). Cloud phải truyền và lưu ảnh, kéo theo nghĩa vụ pháp lý nặng hơn.
4. Kết nối: Nơi mạng yếu (nhà máy, vùng sâu) thì edge vẫn chạy khi mất mạng. Cloud chết nếu rớt mạng.
5. Khả năng cập nhật & sức mạnh mô hình: Cloud dễ cập nhật mô hình mới, chạy được mô hình lớn, chính xác cao. Edge bị giới hạn bộ nhớ/điện năng nên thường phải nén mô hình (quantization), đánh đổi một chút độ chính xác; cập nhật cũng khó hơn (phải OTA hàng loạt thiết bị).
Khung quyết định nhanh
Hãy hỏi 5 câu:
- Có cần phản hồi tức thì (< 100ms) không? → Nghiêng edge.
- Dữ liệu có nhạy cảm/không được rời thiết bị không? → Nghiêng edge.
- Có bao nhiêu điểm (camera) và tần suất xử lý? → Nhiều điểm, tần suất cao thường edge để tránh cháy chi phí cloud.
- Mạng tại nơi triển khai có ổn định không? → Yếu thì edge.
- Mô hình có cần rất lớn/cập nhật liên tục không? → Có thì cloud.
Kiến trúc lai (hybrid) — thường là câu trả lời thật
Nhiều sản phẩm chọn hybrid: edge làm bước lọc rẻ, cloud làm bước phân tích sâu.
Ví dụ camera an ninh: edge chạy detection nhẹ để phát hiện "có chuyển động của người", chỉ khi đó mới gửi đoạn clip lên cloud để nhận diện chi tiết. Cách này giảm 90% dữ liệu truyền lên và chi phí cloud, đồng thời vẫn tận dụng mô hình mạnh khi cần.
Ví dụ cụ thể: kiểm tra chất lượng trên dây chuyền
Nhà máy cần phát hiện lỗi sản phẩm chạy 30 khung hình/giây trên 20 dây chuyền. Nếu gửi hết lên cloud: băng thông khổng lồ, latency làm chậm dây chuyền, và một sự cố mạng có thể dừng cả nhà máy. Rõ ràng edge là lựa chọn: đặt máy tính công nghiệp tại mỗi dây chuyền, mô hình nén chạy tại chỗ, chỉ đẩy thống kê lỗi (không phải ảnh gốc) lên cloud để báo cáo.
Checklist quyết định edge/cloud
- [ ] Yêu cầu latency thực tế là bao nhiêu?
- [ ] Ràng buộc pháp lý/quyền riêng tư với ảnh?
- [ ] Quy mô số camera và chi phí cloud dự phóng ở đỉnh?
- [ ] Độ ổn định mạng nơi triển khai?
- [ ] Nhu cầu cập nhật mô hình và độ lớn mô hình?
- [ ] Có nên dùng hybrid để lấy phần tốt của cả hai?
Sai lầm thường gặp
- Mặc định chọn cloud vì dễ làm prototype, rồi vỡ chi phí khi scale lên nghìn camera.
- Chọn edge nhưng quên bài toán cập nhật mô hình cho hàng nghìn thiết bị ngoài hiện trường.
- Bỏ qua chi phí phần cứng edge trong bài toán ROI.
- Quên rằng nén mô hình để chạy edge làm giảm độ chính xác — phải đo lại, không dùng số của bản cloud.