本地跑 LLM 前先量記憶體：我的 2GB VPS 為什麼連 3B 模型都裝不下
Ollama 官方最低要求 8GB RAM，Q4 量化每 10 億參數約吃 0.6GB。我把自己那台 1 核 2GB 的 Linode 量了一遍：穩態 755MB、build 峰值 1423MB。這篇講小機器到底裝不裝得下、要跑得換什麼、Ollama 與 llama.cpp 該挑哪個，還有我一開始算錯的地方。
這篇的機器數字是我自己那台 Linode 實際量出來的，模型的記憶體需求與速度來自外部實測，我在文中都標了出處。給想在便宜 VPS 或舊筆電上跑本地模型、但不確定跑不跑得動的人。
先講結論：小 VPS 的問題不是慢，是裝不下
小提示
- 先量再裝，不要裝了才發現不行 —— 量的成本是三十秒，裝的成本是十幾 GB 的下載
- 要看的是「可用記憶體」不是「總記憶體」，這兩個數字在跑著服務的機器上差很多
記憶體怎麼估：每 10 億參數 0.6GB，再加 KV cache
| 模型規模 | Q4 權重約需 | 加上 KV 與開銷 | 什麼機器裝得下 |
|---|---|---|---|
| 2-3B | 1.2-1.8GB | 約 2-4GB | 8GB 機器輕鬆，4GB 勉強 |
| 4B（如 Qwen3.5:4b Q4_K_M） | 約 2.5GB | 約 4GB | 8GB 機器的日常選擇 |
| 7-8B | 4-5GB | 約 6-8GB | 8GB 是下限，16GB 才舒服 |
| 20B（gpt-oss，原生 MXFP4） | 約 16GB | 16GB 以上 | 16GB 顯卡或 32GB 記憶體 |
| 70B | 約 42GB | 48GB 以上 | 多卡或大記憶體工作站 |
小提示
- 量化格式挑 Q4_K_M 就好，外部實測在各種執行緒數下它都比 Q5_K_M 與 Q8_0 快，品質損失也還在可接受範圍
- context 開越長 KV cache 吃越多，估的時候別只算權重
我那台機器的真實數字
-
›
穩態記憶體 755MB
整理前是 1120MB。清掉一個殘留的舊服務、停用主機上沒在用的資料庫、把 web 伺服器從 2 個 worker 改成 1 worker 加 4 threads，才降到這個數字
-
›
swap 用量 89MB
整理前是 469MB，而且 swap 總共只有 496MB，用掉 95%。後來把 swap 加到 2.5GB、把 swappiness 從 60 降到 20
-
›
建置尖峰 1423MB
整理前是 2068MB，直接把 2GB 的機器逼到 OOM。這個數字才是真正的天花板 —— 不是平常用多少，是最忙的那一刻用多少
-
›
CPU 負載 0.04 到 0.30
一整天都在這個區間。所以我的瓶頸從來不是 CPU，是記憶體，這也是我一開始判斷錯的地方
-
›
容器引擎自己就吃 362MB
而且會隨著時間漲，重啟一次掉回 86MB。全機最大的單一消費者不是我的應用程式
小提示
- 量記憶體要量尖峰不要量平均，平均值會讓你以為還有空間
- 跑著服務的機器，「還剩多少」比「總共多少」重要太多了
把兩組數字放在一起看
-
›
我的可用空間
約 755MB，還要留給流量尖峰與每次部署的建置程序
-
›
最小模型的需求
2B 的 Q4 權重約 1.2GB，還沒算 KV cache
-
›
差距
不是差一點，是差一個量級。加 swap 也沒用，模型權重被換到磁碟上等於整個推論停擺
小提示
- swap 能救建置尖峰那種短暫的爆量，救不了模型推論這種持續佔用
- 如果你的機器同時還要跑網站，別把總記憶體當成可用記憶體
那要多大才夠，還有四套執行環境怎麼挑
| 工具 | 形式 | 適合誰 | 備註 |
|---|---|---|---|
| Ollama | CLI 加上 API server | 開發者、要從程式呼叫的人 | 封裝得最好，代價是多一層 API 包裝 |
| LM Studio | 桌面圖形介面 | 不寫程式、想直接聊天或丟檔問答的人 | 也能開 localhost API 給別的程式用 |
| llama.cpp | 純 C/C++ | 要壓榨效能、或平台比較冷門的人 | 外部實測比 Ollama 快約 10-14% |
| vLLM | 高吞吐推論服務 | 要多人同時用的正式環境 | 單機自用會覺得它太重 |
小提示
- Ollama 跟 LM Studio 可以裝在同一台機器上共存，不用二選一
- 自己一個人用就別碰 vLLM，它解決的是併發問題，你沒有那個問題
純 CPU 到底多慢
-
›
每秒 14 個 token 是什麼感覺
大約是比人閱讀稍快一點，寫一段兩百字的回覆要等十幾秒。單人問答勉強可用
-
›
不適合什麼
接進需要即時回應的服務、或是要一次跑大量批次的場景，這個速度撐不住
-
›
那台實測機器的規格
是一顆伺服器等級的 CPU 開 12 執行緒。我那台是 1 核，就算裝得下也不會有這個速度
小提示
- 純 CPU 值不值得，看你在意的是延遲還是資料不出門 —— 後者的話慢一點也是划算的
我一開始算錯與踩過的 4 件事
-
›
❌ 以為瓶頸是 CPU
我最早想降規的理由是「CPU 用不到」，看了一整天負載都在 0.04 到 0.30 之間。實際卡住的是記憶體，swap 496MB 被吃掉 469MB。方向錯了，量了才發現
-
›
❌ 用總記憶體去估能跑什麼
拿 2GB 去對照「2-3B 模型需要 2-4GB」，覺得只差一點。實際可用只有 755MB，差的是一個量級不是一點
-
›
❌ 以為加 swap 就能跑得動
我把 swap 從 496MB 加到 2.5GB，建置尖峰確實不再 OOM 了。但模型推論是持續存取權重，被換到磁碟上等於整個停擺，swap 對這件事沒有幫助
-
›
❌ 沒把容器引擎自己的用量算進去
我一直在算應用程式用多少，忽略了容器引擎本身就吃 362MB 而且會隨時間漲。現在排了每週檢查，超過門檻就重啟，實測可以掉回 86MB
注意事項
在正式環境的機器上裝本地模型之前，先確認尖峰時的可用記憶體。記憶體被吃光會讓系統直接砍掉正在服務的程序，網站會跟著掛。
最後
小提示
- 接下來值得盯的是小模型本身的進步 —— 4B 等級的模型這一兩年進步很快，門檻有機會再往下掉
資料來源與擷取日期
這篇分兩種數字：我自己那台機器的是我實際量的，模型記憶體需求與速度是外部來源，擷取日期都標了，你可以自己去對：
- Ollama System Requirements: 8GB RAM Minimum, No GPU Needed — Local AI Master（2026-09-01 擷取，最低 8GB RAM／10GB 磁碟／AVX2 的門檻）
- Ollama RAM Requirements: Memory for Every Model Size (2026) — ADHDecode（2026-09-01 擷取，各參數量對應的記憶體與 Q4 每十億參數 0.6GB 的估法）
- Ollama CPU Benchmark: Tokens per Second by Quantization — Markaicode（2026-09-01 擷取，純 CPU 的 14.2 tokens/秒與量化格式比較）
- Ollama vs vLLM vs LM Studio: Best Way to Run LLMs Locally in 2026 — Rost Glukhov（2026-09-01 擷取，四套執行環境的定位差異）
- Ollama vs llama.cpp: 77 vs 69 Tokens/Sec, Benchmarked 2026 — Agentic Wire（2026-09-01 擷取，Ollama 與 llama.cpp 的速度差距）
要講清楚的是：外部那幾筆是第三方實測，不是官方公告的規格，而且不同 CPU、不同執行緒數、不同量化格式差很多，請當成量級參考而不是保證值。我這台以外的機器我沒有辦法複驗。
- 1 Ollama 官方標的最低需求是 8GB RAM、10GB 可用磁碟、支援 AVX2 的 64 位元 CPU，沒有 GPU 也能跑
- 2 記憶體的快算法是 Q4 量化每 10 億參數約 0.6GB，7B 模型約 4-5GB，再加 1-2GB 的 KV cache 與系統開銷
- 3 我那台 1 核 2GB 的 Linode 在跑完整理後穩態只剩約 755MB 可用，連 2-3B 的小模型都不夠，這是裝不下不是跑得慢
- 4 純 CPU 跑 8B Q4_K_M 的外部實測約 14.2 tokens/秒，GPU 上同樣的模型落在 90-120 tokens/秒
- 5 Ollama 適合開發者接程式、LM Studio 適合要圖形介面的人、llama.cpp 跨平台最廣、vLLM 是多人併發的高吞吐選項
AI 程式開發工具指南 2026：Cursor、Claude Code、Copilot 完整評比
2026 年最完整的 AI 程式開發工具比較指南，深度評測 Cursor、Claude Code、GitHub Copilot、Windsurf 等主流工具，含價格、功能、適用場景分析。
AI 內容創作實戰：我用 AI 寫部落格 + 社群 + 影片腳本 1 年後的真實工作流
Claude 寫長文、Midjourney 配圖、Capcut 剪片，1 年產 100+ 篇後的真實心得。哪些 AI 可以、哪些一定人工。
AI 數據分析工具指南 2026：讓資料說話的 10 大神器
2026 年最完整的 AI 數據分析工具評比，從 ChatGPT 進階分析到 Python + LLM 工作流，涵蓋行銷、財務、人資實戰案例，幫你用數據做出更好的決策。
一般聲明
本站提供之資訊僅供參考，不保證其完整性與正確性。使用者應自行判斷資訊之適用性。