AI QA / LLM QA Engineer 轉職指南 — 這職位在做什麼、怎麼轉、薪資多少
AI QA / LLM QA Engineer 是 2026 最熱的新興 QA 職位。這篇拆解它到底在測什麼、跟一般 QA 差在哪、該補哪些技能、薪資範圍、以及一條從現職 QA 轉過去的實戰路線。
本文原刊於 qa.9niche.com，2026-08 併入 9niche.com 懶人包，內容照原文完整搬遷。
前言
2026 最熱的 QA 新職位是 AI QA / LLM QA Engineer。需求暴增、供給稀缺、薪資溢價。但很多人不知道它到底在做什麼、也不知道自己能不能轉。這篇講清楚。
還在判斷 AI 對 QA 是危機還是機會？先看 AI 時代 QA 還有未來嗎。
一般 QA vs AI QA — 測的東西本質不同
關鍵差異：一般功能你能寫死 expected value;AI 輸出是機率性的、沒有單一正確答案、要評估「夠不夠好」。這就是為什麼需要一個專門角色。
AI QA 到底測什麼
| 測試類型 | 在測什麼 | 站上深入文章 |
|---|---|---|
| LLM Evaluation | 輸出品質量化 | LLM Evaluation Testing |
| RAG 測試 | 檢索 + 生成品質 | RAG 系統測試 |
| Agent 測試 | 多步驟決策 | AI Agent 系統測試 |
| 紅隊測試 | 找安全漏洞 | LLM Red Teaming |
| 多模態 | 圖/音/影測試 | Multi-modal AI Testing |
該補的技能(3 層)
最該先練的是「eval 設計」 — 怎麼把模糊的「這答案還不錯」變成可重複、可比較的分數。這是 AI QA 的命根、也是多數人卡住的地方。
從現職 QA 轉過去的路線
沒有公司 AI 功能可測？用 side project — 接一個 LLM API、做一個小 RAG、自己寫 eval。有實作經驗比證照值錢。
完整轉型節奏可參考 手動 QA 轉型 AI-Augmented QA 90 天;技能取捨看 AI 取代不了的 QA 技能。
薪資與市場
| 面向 | 現況 |
|---|---|
| 薪資溢價 | 比同年資一般 QA 高約 15-30% |
| 供需 | 需求 >> 供給(會測 AI 的人稀缺) |
| 競爭者 | 多數 QA 不懂 eval、多數 ML 不懂測試、卡交集者吃香 |
| 風險 | 領域新、標準還在變、要持續學 |
稀缺的原因:它卡在「測試思維 × AI 理解」的交集。傳統 QA 補 AI 比 ML 工程師補測試容易 — 這是你的機會。
反模式
給 QA 的 5 句
- AI QA 測的是機率性輸出、不是確定性功能
- 不用會訓練模型、要會測模型行為
- eval 設計是命根、先練它
- 有實作經驗比證照值錢
- 卡在「測試 × AI」交集的人最稀缺
最後
AI QA 不是另一個職業、是 QA 的進化版。你既有的測試思維是最難補的部分、AI 知識反而好補。從測公司現有的 AI 功能、或一個 side project 的 eval 開始 — 半年後你就站在這個稀缺交集裡。
延伸閱讀：
AI 時代 QA 工作真實分析。哪些任務 LLM 已經做得比人好、哪些 10 年內不會被取代、QA 該怎麼重新定位、薪資版面變化、給焦慮中的人一份地圖。
LLM 系統評估完整方法。Eval set 設計、4 種自動評估指標（BLEU/ROUGE/Embedding/LLM-as-judge）、Human review 流程、回歸防漂移、CI 整合。
RAG (Retrieval-Augmented Generation) 系統完整測試指南。Retrieval 評估（recall/precision）、Chunking 策略測試、Citation 驗證、幻覺偵測、知識庫漂移。
2026 QA 趨勢實戰：我看到的 5 個轉變（AI、Shift-Left、Observability）
從手動 QA 到 AI 輔助、從測試金字塔到測試獎盃。這篇分享我這 10+ 年看 QA 從「測完才知道」到「shift-left + AI」的真實觀察。
AI / LLM 功能 Spec Review — 幻覺 / 評估 / 成本 / 法遵 8 個必問
AI 功能 spec review 完整指南。LLM 不確定性處理、評估指標、Prompt versioning、成本控制、安全護欄、法遵（EU AI Act / GDPR）、Fallback、人工 review 流程。
AI Agent 系統測試 — 自主執行 / 工具呼叫 / 多步推理的 QA 策略
測試 AI Agent 完整方法。Tool calling 驗證、Trajectory 評估、Failure mode 分類、無限迴圈防止、成本上限、安全 sandbox、Multi-agent 協作測試。
一般聲明
本站提供之資訊僅供參考，不保證其完整性與正確性。使用者應自行判斷資訊之適用性。