Đa số dự thảo ROI chỉ ghi "phí API 5 triệu/tháng" rồi kết luận lãi to. Chi phí ẩn — thứ không nằm trên hóa đơn — mới là nơi ROI bị ăn mòn. Bài này liệt kê và định lượng chúng.
Bản đồ chi phí đầy đủ (TCO)
Hãy nghĩ theo Total Cost of Ownership, chia làm chi phí một lần và chi phí lặp lại.
Chi phí một lần (build):
- Thiết kế, prompt engineering, xây pipeline.
- Tích hợp hệ thống (API nội bộ, xác thực).
- Đánh giá và tinh chỉnh trước khi lên production.
- Token/inference — biến đổi theo lượng dùng.
- Giám sát con người (human-in-the-loop) — review, phê duyệt.
- Sửa lỗi & xử lý ngoại lệ — khi agent làm sai.
- Quan sát & vận hành (observability) — logging, tracing, cảnh báo.
- Bảo trì prompt/model — model đổi phiên bản, prompt drift.
- Rủi ro & tuân thủ — chi phí kỳ vọng của sự cố.
Ví dụ cụ thể: định lượng chi phí ẩn
Agent tóm tắt hợp đồng cho phòng pháp chế, 600 hợp đồng/tháng:
- Token: 600 × 4.500đ = 2,7 triệu.
- Human review: pháp chế đọc lại 100% → 3 phút/bản × 600 = 30 giờ × 300.000đ = 9 triệu.
- Sửa lỗi: 8% bản tóm tắt sai điểm quan trọng, xử lý lại 20 phút/ca → 48 ca × 20 phút = 16 giờ × 300.000đ = 4,8 triệu.
- Observability + hạ tầng: 1,5 triệu.
Công thức chi phí vận hành
Monthly_Run_Cost =
token_cost
+ (review_minutes/60 * review_rate)
+ (error_rate * volume * fix_minutes/60 * fix_rate)
+ observability_cost
+ amortized_maintenance
Các bước bóc tách chi phí ẩn
- Vẽ luồng thật của agent trong production, đánh dấu mọi điểm con người chạm vào.
- Gắn thời gian và đơn giá cho từng điểm chạm đó.
- Lấy error_rate từ dữ liệu thật, không đoán "chắc khoảng 5%".
- Ước chi phí giám sát theo mức tin cậy hiện tại, giảm dần khi agent trưởng thành.
- Cộng chi phí rủi ro kỳ vọng = xác suất sự cố × thiệt hại.
- Phân bổ chi phí build theo vòng đời dự kiến (amortize).
Khung phân loại: chi phí này tăng theo scale không?
- Cố định: build, một phần observability.
- Tuyến tính theo volume: token, human review 100%.
- Giảm dần theo thời gian: giám sát (nếu agent cải thiện), sửa lỗi.
Sai lầm thường gặp
- Chỉ đếm phí API. Bỏ human-in-the-loop là bỏ khoản lớn nhất trong ví dụ trên.
- Coi chi phí giám sát là 0 vĩnh viễn. Kể cả agent tốt, giai đoạn đầu vẫn cần review nặng.
- Quên chi phí sửa lỗi lan tỏa. Một tóm tắt sai có thể gây quyết định sai, thiệt hại vượt xa 20 phút xử lý lại.
- Không amortize chi phí build, khiến tháng đầu lỗ nặng còn tháng sau lời ảo.
Chi phí giám sát giảm theo đường cong học nghề
Một điểm quan trọng khi dự báo: tỷ lệ human review hiếm khi cố định. Giai đoạn đầu đội thường review 100% vì chưa tin agent. Khi dữ liệu cho thấy agent đáng tin ở một số loại tác vụ, có thể chuyển sang review theo mẫu (sampling) hoặc review theo rủi ro (chỉ soi ca giá trị cao). Hãy mô hình hóa điều này:
review_ratio(month) = max(min_ratio, start_ratio - decay*month)
# ví dụ: bắt đầu 1.0, giảm 0.1/tháng, chạm sàn 0.2
Sàn (min_ratio) không nên là 0 — luôn cần một lớp giám sát tối thiểu cho ca rủi ro. Bỏ qua đường cong này khiến bạn hoặc ước chi phí giám sát quá cao (giết ROI oan) hoặc giả định về 0 (ROI ảo).
Đừng quên chi phí lan tỏa của lỗi
Chi phí sửa một output sai không chỉ là 20 phút làm lại. Nếu bản tóm tắt hợp đồng bỏ sót điều khoản phạt và pháp chế duyệt qua, thiệt hại có thể là hàng trăm triệu khi tranh chấp. Với use case rủi ro cao, hãy tách riêng chi phí lỗi lọt lưới = xác suất lỗi × xác suất lỗi vượt qua review × thiệt hại trung bình, và đưa vào TCO.
Khi đã có baseline (Bài 2) và chi phí thật (Bài 3), Bài 4 sẽ ráp chúng thành phép tính ROI hoàn chỉnh.