Mobile App Testing 入門 — Appium vs Detox 怎麼選、跨平台策略、device farm

「網站測試我會、mobile 也差不多吧」是新人最大的誤解。Mobile testing 是另一個物種 — 不同 OS、不同裝置尺寸、不同網路、推播、相機、權限、deep link… 痛點是 web 的 3-5 倍。這篇講 QA 從 web 跨到 mobile 該注意什麼。

測試前先問：「我們是哪種 App？」 — 工具選錯後面會吐血。

1. OS / 裝置碎片化

• iOS：相對單純，但 iOS 16/17/18 + iPad / iPhone SE/15 Pro Max 都要測
• Android：地獄。Samsung S24、Pixel 8、小米 14 都有自家 ROM 微調。Android 8 ~ 14 都還有人用

對策：選 top 5 機種覆蓋 80% 使用者 → 看你 Firebase Analytics 數據決定。

2. 網路情境

3. 推播與背景

Push notification 必測：

• App 開啟時收到
• App 背景時收到
• App 完全 kill 時收到
• 點通知開到正確頁面（deep link）
• 通知 payload 含特殊字元 / emoji
• 連續多則通知 batching

4. 權限 flow

首次安裝 → 開 App → 觸發功能（拍照/位置/推播）→
彈權限 → 使用者允許 / 拒絕 / 「不要再問」→
不同分支 UX 都要測

權限拒絕後的 fallback path 常被忽略。

5. App lifecycle

• Foreground → Background（按 Home）
• Background → Foreground 回來
• Memory pressure 被 kill
• Cold start vs Warm start
• 來電中、收到簡訊

測試：跑流程到一半切走 / 切回，看狀態保留嗎？

Appium — 通用之王

優點：

• 跨平台同一份 code 跑 iOS + Android
• 支援 Native / Cross / Hybrid
• 業界標準、社群大、工作機會多
• 可寫 Python / Java / JS / Ruby

缺點：

• 慢（每步都要過 WebDriver protocol）
• Selector 不穩定（要用 Accessibility ID）
• iOS 跑特別慢
• 環境配置複雜（Xcode + Android SDK + Node + Java...）

Detox — React Native 神器

優點：

• 灰盒測試（跟 app process 同步）
• 比 Appium 快 5-10 倍
• Auto-sync — 不用自己 wait
• React Native 一等公民

缺點：

• 只支援 RN
• iOS Simulator + Android Emulator only（不能跑真機）
• 學習曲線比 Appium 陡

我的選擇規則

環境

brew install node android-platform-tools
npm install -g appium
appium driver install xcuitest
appium driver install uiautomator2

第一支 test（Python）

from appium import webdriver
from appium.options.android import UiAutomator2Options
from appium.webdriver.common.appiumby import AppiumBy

options = UiAutomator2Options()
options.platform_name = 'Android'
options.device_name = 'Pixel_8_API_34'
options.app = '/path/to/app.apk'
options.automation_name = 'UiAutomator2'

driver = webdriver.Remote('http://localhost:4723', options=options)

# 選元素優先順序：
# 1. Accessibility ID (跨平台、最穩)
login_btn = driver.find_element(AppiumBy.ACCESSIBILITY_ID, 'login_button')
login_btn.click()

# 2. ID (Android resource-id / iOS name)
email = driver.find_element(AppiumBy.ID, 'email_input')
email.send_keys('[email protected]')

# 3. XPath (最後手段)
# 不要常用 - 慢、脆弱

跑

# 開 Appium server
appium

# 另一個 terminal 跑 test
python tests/test_login.py

// e2e/login.test.js
describe('Login', () => {
  beforeEach(async () => {
    await device.reloadReactNative();
  });

  it('logs in successfully', async () => {
    await element(by.id('email-input')).typeText('[email protected]');
    await element(by.id('password-input')).typeText('Pass@123');
    await element(by.id('login-button')).tap();

    await expect(element(by.text('Welcome'))).toBeVisible();
  });
});

跑：

detox build -c ios.sim.debug
detox test -c ios.sim.debug

團隊規範：

• 跟 dev 約定每個元素加 accessibilityID="meaningful-name"
• 命名規則：<screen>-<element>-<action>，例如 login-email-input
• Avoid 用 visible text（i18n 換語言就壞）

本機跑 Simulator / Emulator 不夠真實。真機很重要。

新團隊推薦：BrowserStack 或 Firebase Test Lab。設備數量、穩定度最值得。

iOS

• Mac 必備（Xcode 只能 Mac 跑）
• Apple Developer 帳號 ($99/yr) 真機 sign
• Simulator 跟真機 behavior 不同（Push、Touch ID）
• 每個 Xcode 升級可能打死 Appium driver

Android

• Windows / Mac / Linux 都可
• Emulator 慢、最好真機
• 不同 OEM 行為不同（華為跟 Samsung 行為差異大）
• ADB 偶爾掛掉要重啟

節奏：

• PR：Simulator/Emulator E2E（10-15 分鐘）
• Nightly：真機 device farm（多裝置）
• Release：全裝置 + 多 OS 版本

不要 PR 跑真機 — 太慢、會被罵。

1. 本機過就 push — 你 Pixel 8 過、別人 Samsung S20 爆
2. 跑 release build 才測 — Release / Debug 行為不同，提早遇到
3. 不測權限 fallback — 拒絕後 app crash 上 store 退
4. 不測 deep link — push / 廣告連進來 crash
5. 忘了測直 / 橫排 — 旋轉 90 度爆 layout
6. iOS only / Android only 心態 — 必須兩平台都會
7. 不測網路差 — 高鐵上一定壞

時程：3-6 個月。

Mobile QA 痛苦但薪資 / 職缺都比純 web 多。學完之後你不只是 web QA、是「跨平台 QA 工程師」— 職涯路寬一倍。從手動測一個 App 開始，下一篇進自動化選 Appium 或 Detox。