LLM Product Design

Thiết kế feature dựa trên LLM: capability mapping, prompt architecture, UX patterns, evaluation.

Roadmap — Cách học và đạt kỹ năng

Khác biệt LLM product vs traditional

Non-deterministic — same input có thể ra output khác.
Hallucination — confident nhưng sai.
Latency cao — 1–10s không bất thường.
Cost per call — tính theo token, cộng dồn.
Capability moving target — model upgrade liên tục.

Capability mapping

Trước khi design feature, list rõ LLM làm tốt gì, dở gì:

LLM tốt	LLM dở
Summarize, paraphrase, translate	Math chính xác
Classify, extract entity	Real-time information
Generate creative content	Deterministic logic
Conversational QA	Long-context perfect recall

Design pattern

Single-shot — 1 prompt → 1 output. Simple.
Chain-of-thought — reasoning step explicit.
Tool use / function calling — LLM gọi API external.
Agent loop — LLM iterate cho tới achieve goal.
RAG — Retrieval-Augmented Generation, ground vào doc.

UX considerations

Streaming — show token theo thời gian, giảm perceived latency.
Show your work — cite source, show reasoning step.
Confidence signaling — "Mô hình không chắc, vui lòng verify".
Recovery affordance — regenerate, edit, undo.
Guardrail visible — block content harmful, show why.

Common pitfalls

LLM-everything — dùng LLM cho task simple regex.
Không có eval suite — không biết model upgrade có improve hay không.
Bỏ qua cost monitoring — bill 10x sau spike.
Trust LLM output mà không verification cho high-stakes (medical, legal, financial).

Vietnam context

VinAI PhoGPT, Zalo Bot, Trợ lý ảo MoMo — VN LLM stack đang nổi. PM cần đánh giá VN-specific model vs OpenAI/Anthropic về Vietnamese fluency, cost, data residency.