RAG 系統測試 — Retrieval / Augmentation / Generation 三層完整 QA 流程

「我們做了個 AI 客服、查知識庫回答」= RAG 系統。測試比純 LLM 多一倍工作 — 因為要分開測「找的對嗎」跟「答的對嗎」。這篇給你完整 framework。

三層：

1. Retrieval：找對 chunks
2. Augmentation：組 prompt
3. Generation：LLM 生答案

每層都要測。

問題：給某 query、向量搜尋是否撈到對的 chunks？

Retrieval Eval Set 範例

[
  {
    "id": "R-001",
    "query": "怎麼設定多語系？",
    "expected_doc_ids": ["doc-i18n-setup", "doc-language-switcher"],
    "min_recall_at_5": 1.0
  },
  {
    "id": "R-002",
    "query": "API 限流",
    "expected_doc_ids": ["doc-rate-limit", "doc-throttling"],
    "min_recall_at_5": 0.5
  }
]

關鍵指標

def retrieval_eval(query, expected_docs, retrieved_docs, k=5):
    top_k = retrieved_docs[:k]
    relevant_in_top_k = [d for d in top_k if d.id in expected_docs]
    recall = len(relevant_in_top_k) / len(expected_docs)
    precision = len(relevant_in_top_k) / k
    return {"recall@k": recall, "precision@k": precision}

怎麼測哪個策略好：

1. 同樣 eval set
2. 改 chunking、重 index
3. 跑 retrieval eval
4. 比較 recall@5 / NDCG

# A/B test
python eval/run.py --chunking fixed_512 --output ./out_a/
python eval/run.py --chunking semantic --output ./out_b/
python eval/compare.py ./out_a/ ./out_b/

範例：Prompt 組裝測試

def test_prompt_assembly():
    chunks = [{"id": "doc-1", "text": "Lorem ipsum...", "score": 0.9}]
    prompt = build_rag_prompt(user_q="How?", chunks=chunks)

    assert "Lorem ipsum" in prompt
    assert "Source: doc-1" in prompt or "[1]" in prompt
    assert len(prompt) < 16000  # model context limit
    assert "ignore previous" not in user_q.lower()  # injection guard

回到一般 LLM eval、但多兩個維度：

Grounded-ness 評估

「回答的內容是否真的來自 retrieved chunks」？

GROUNDED_PROMPT = """
評估回答是否基於 context。

Context:
{chunks}

回答:
{answer}

對每個事實聲明、回 JSON:
- "claim": "聲明",
- "in_context": true/false,
- "source_chunk": "chunk_id 或 null"

最後給整體 grounded score 0-1。
"""

Citation 驗證

def verify_citations(answer, chunks):
    citations = re.findall(r"\[(\d+)\]", answer)
    for c in citations:
        idx = int(c) - 1
        if idx < 0 or idx >= len(chunks):
            return {"error": f"Citation [{c}] 指向不存在的 chunk"}
    return {"valid": True}

工具：

• Vectara HHEM — 開源幻覺偵測 model
• RAGAS — RAG 評估框架（含 faithfulness）
• TruLens — 即時 RAG 監控

自動回歸 alert

# CI: 每天跑 retrieval eval set
def daily_rag_health_check():
    baseline = load("baseline_metrics.json")
    today = run_eval()

    diff = {k: today[k] - baseline[k] for k in baseline}

    if diff["recall@5"] < -0.05:
        alert(f"⚠️ Retrieval recall 下降 {abs(diff['recall@5'])}")

    if diff["faithfulness"] < -0.10:
        page("on-call", "Faithfulness 大幅下降")

1. Retrieval 錯了、LLM 救不了 — 分層測
2. Citation 必驗、沒 source 不能回
3. 每改一次 chunking、跑全 retrieval eval
4. Grounded-ness > 正確性
5. KB 更新 = 全測、不是「應該沒事」

RAG 系統測試是 LLM 應用最複雜的領域。新人從 retrieval 50 個 eval + faithfulness 監控開始、半年後你會變團隊不可缺的 AI QA。傳統 QA 跨進 RAG = 薪資 +30%、職缺翻倍。

延伸：

• LLM Evaluation Testing
• AI / LLM 功能 Spec Review
• AI 共存的 QA 工具箱