Build AI · Khung thực hành
RAG trả lời sai context: đo retrieval trước khi đổi chunk size
Một playbook tách document retrieval, answer quality và missing-context failure để tìm lớp cần sửa.
Trước khi bắt đầu
Đọc để ra quyết định, không chỉ để lướt qua thông tin.
Bài này dành cho AI product builder, ML engineer và search engineer.. Mục tiêu là giúp bạn Giúp builder tránh tối ưu prompt/model khi bằng chứng cho thấy context đưa vào đã thiếu hoặc sai..
01 / SYMPTOM
Mô tả lỗi bằng query và expected evidence
“AI hallucinate” quá rộng để debug. Thu thập query thật, expected document/passages, câu trả lời quan sát được và impact. Không bắt đầu bằng tham số chunk.
Điểm cần chốt
Tách wrong retrieval, missing retrieval và answer misuse.Cách áp dụng
- Ẩn dữ liệu nhạy cảm trong eval set.
- Gắn severity/impact cho từng failure.
Sơ đồ bước 01: Mô tả lỗi bằng query và expected evidence
02 / FIRST METRIC
Hỏi: context đúng có xuất hiện đủ sớm không?
Với query có expected evidence, kiểm document/passages đúng có nằm trong top-k không; nếu có, nó có bị cắt hoặc ranking thấp không. Đây là phép đo retrieval, chưa phải đo câu văn answer.
Điểm cần chốt
Xác định relevance judgement trước.Cách áp dụng
- Ghi corpus/version/index configuration.
- Đo theo slice quan trọng, không chỉ average.
Sơ đồ bước 02: Hỏi: context đúng có xuất hiện đủ sớm không?
03 / SMALLEST TEST
Tạo một eval set có failure taxonomy
Bắt đầu bằng tập query nhỏ đại diện, mỗi query gắn expected evidence. Run baseline, xem false retrieval/missing context, rồi thay một biến tại một thời điểm.
Điểm cần chốt
Không đổi chunking, embedding và prompt cùng lúc.Cách áp dụng
- Lưu trace retrieval.
- Đặt regression gate trước release.
Sơ đồ bước 03: Tạo một eval set có failure taxonomy
04 / ESCALATE
Chỉ tối ưu thành phần bị chứng minh là bottleneck
Nếu expected context không vào top-k, xem ingestion/index/query/retriever. Nếu context có mà answer sai, mới xem prompt/model/output policy. Có thể tồn tại nhiều failure class cùng lúc.
Điểm cần chốt
Không gọi reranking là cure-all.Cách áp dụng
- Thử doc freshness/permission filter.
- Ghi known unknowns cho stakeholder.
Sơ đồ bước 04: Chỉ tối ưu thành phần bị chứng minh là bottleneck
Giới hạn của hướng dẫn này
Điều trang này không khẳng định.
Đây là starter framework; metric, threshold và eval data phải thuộc domain/risk của hệ thực. Không có benchmark RAG nào được công bố ở đây.
Nguồn để đối chiếu
Đọc nguồn. Giữ đúng phạm vi.
- Microsoft Learn — Azure AI Search transparency note ↗
Tham chiếu cho evaluation, metrics monitoring và thử cấu hình search; không chứng minh một metric hoặc threshold dùng được cho mọi RAG system.