AI Cost Economics

Vì sao chi phí AI cư xử khác mọi chi phí phần mềm bạn từng gặp

Phần mềm truyền thống có chi phí biên gần bằng không: phục vụ người dùng thứ một triệu gần như không tốn thêm gì so với người thứ một nghìn. Toàn bộ mô hình kinh doanh phần mềm được xây trên đặc điểm đó.

Sản phẩm AI phá vỡ điều này. Mỗi lần gọi model tốn tiền thật. Người dùng càng dùng nhiều, bạn càng trả nhiều. Một khách hàng hăng hái có thể khiến bạn lỗ trên chính khách hàng đó — và đây không phải tình huống hiếm, nó là tình huống mặc định nếu không ai tính.

Hệ quả cho người làm sản phẩm: chi phí trở thành một quyết định thiết kế, không phải một dòng trong báo cáo tài chính cuối quý. Bạn phải biết một lần người dùng bấm nút tốn bao nhiêu, trước khi thiết kế cái nút đó.

Token — đơn vị tính tiền, giải thích cho người không làm kỹ thuật

Model không đọc theo chữ hay theo từ; nó đọc theo token, những mẩu nhỏ hơn từ. Bạn bị tính tiền theo số token đi vào cộng số token đi ra.

Hai điều quan trọng người mới hay bỏ sót:

• Token đi ra thường đắt hơn token đi vào nhiều lần. Một câu trả lời dài dòng tốn hơn bạn tưởng. Ra lệnh cho model trả lời ngắn gọn là một biện pháp tiết kiệm thật, không phải chuyện thẩm mỹ.
• Tiếng Việt đắt hơn tiếng Anh cho cùng một nội dung. Nếu sản phẩm của bạn phục vụ người Việt, đừng lấy con số ước tính từ tài liệu tiếng Anh rồi nhân lên.

Cách tính chi phí một hành động — làm từng bước

Đây là phép tính bạn phải làm được, và nó nên nằm trong tài liệu sản phẩm chứ không phải trong đầu một engineer.

• Bước 1 — Chọn một hành động thật của người dùng. Không tính chung chung "chi phí AI", hãy tính "một lần tóm tắt cuộc họp".
• Bước 2 — Đếm token đi vào: hướng dẫn hệ thống + ví dụ mẫu + ngữ cảnh lấy về + lịch sử hội thoại + câu hỏi của người dùng. Phần lớn người ta chỉ nhớ đếm câu hỏi.
• Bước 3 — Ước lượng token đi ra từ vài lần chạy thật, lấy mức phân vị cao chứ đừng lấy trung bình — ca dài mới là ca làm bạn cháy ngân sách.
• Bước 4 — Nhân với đơn giá của model đang dùng, nhớ tách đơn giá vào và ra.
• Bước 5 — Nhân với số lần thử lại. Người dùng hiếm khi hài lòng lần đầu; hệ số 1,3–2,0 là thực tế. Bỏ qua bước này là lý do phổ biến nhất khiến dự toán sai.
• Bước 6 — Cộng các lời gọi ẩn: phân loại độ khó, kiểm duyệt nội dung, tạo chỉ mục tìm kiếm. Một "hành động" thường là ba tới năm lời gọi.

Kết quả bạn cần: chi phí cho mỗi hành động, rồi nhân với số hành động trung bình một người dùng làm mỗi tháng. Con số đó đem so với doanh thu bạn thu của người đó. Nếu chưa so được hai con số này, bạn chưa biết sản phẩm có sống được không.

Ví dụ tính thật — trợ lý tóm tắt cuộc họp

Giả định: gói 200.000đ/người/tháng. Người dùng tích cực tóm tắt 40 cuộc họp/tháng.

Đọc ra điều gì: 40 cuộc họp × ~11.000 token vào là con số lớn so với 200.000đ doanh thu. Ba đòn bẩy theo thứ tự hiệu quả:

• Bộ nhớ đệm cho 2.000 token cố định (hướng dẫn + ví dụ) — phần này lặp lại ở mọi lời gọi và thường được giảm giá rất sâu. Đây là việc dễ nhất, làm trước.
• Cắt bản ghi trước khi đưa vào — bỏ phần chào hỏi, phần im lặng, phần lạc đề. Thường cắt được 30–40% mà chất lượng tóm tắt không đổi.
• Định tuyến theo độ dài — cuộc họp 15 phút không cần model mạnh nhất.

Và một đòn bẩy thuộc về sản phẩm chứ không thuộc về kỹ thuật: đặt hạn mức trong gói. Gói 200.000đ gồm 30 cuộc họp, vượt thì mua thêm. Hạn mức không phải là keo kiệt — nó là cách duy nhất để doanh thu tăng cùng chi phí.

Sáu đòn bẩy giảm chi phí — xếp theo hiệu quả trên công sức

Bắt đầu từ hai dòng đầu. Chúng tốn ít công nhất và thường đủ để đưa biên lợi nhuận về vùng an toàn, trong khi định tuyến theo độ khó là dự án nhiều tuần.

Ba tình huống và cách xử lý khác nhau

Sản phẩm miễn phí có bản trả tiền. Rủi ro: người dùng miễn phí đốt hết ngân sách. Xử lý: hạn mức rõ ràng cho bản miễn phí, dùng model rẻ nhất chạy được, và giữ tính năng đắt tiền cho bản trả phí. Đây cũng là động lực nâng cấp tự nhiên.

Bán cho doanh nghiệp, giá theo hợp đồng. Rủi ro: ký giá cố định rồi khách dùng gấp mười dự tính. Xử lý: viết hạn mức vào hợp đồng, theo dõi mức dùng theo từng khách hàng, và cảnh báo nội bộ khi một khách vượt ngưỡng — trước khi hết quý.

Tính năng AI bên trong sản phẩm đã có. Rủi ro: chi phí AI ăn mòn biên lợi nhuận của sản phẩm chính một cách âm thầm. Xử lý: coi nó như một dòng chi phí riêng ngay từ đầu, và đặt ngưỡng: nếu vượt X% doanh thu thì phải xem lại thiết kế.

Theo dõi thế nào — bốn con số cần nhìn hằng tuần

Con số thứ tư là con số ít ai theo dõi và nó nói nhiều nhất: chi phí cao do chất lượng kém là loại chi phí sửa được bằng sản phẩm, không phải bằng tối ưu kỹ thuật.

Hiccups thường gặp và cách xử lý

Vì sao vai trò của bạn cần cái này

Definition of done

• Tính được chi phí cho từng hành động chính, gồm cả hệ số thử lại và lời gọi ẩn.
• So được chi phí mỗi người dùng với doanh thu mỗi người dùng.
• Đã bật bộ nhớ đệm cho phần prompt cố định.
• Có hạn mức hoặc cách tính theo mức dùng cho nhóm dùng nhiều nhất.
• Bốn chỉ số theo dõi hằng tuần, có ngưỡng báo động.
• Mỗi lần tối ưu chi phí đều chạy lại bộ ca chuẩn để chứng minh chất lượng không tụt.