已驗證 12 款更新於

本地 AI 迷你電腦:記憶體、頻寬與 AI 算力

每台迷你電腦能給本地語言模型多少記憶體、記憶體有多快,以及品牌標示的 AI TOPS。記憶體大小決定放得下哪些模型,記憶體頻寬決定回答速度。 另有 1 款因來源數據不一致或不完整,暫不公開。

本地 AI 迷你電腦:記憶體、頻寬與 AI 算力:已驗證規格
型號處理器記憶體 (GB)頻寬 (GB/s)TOPS(NPU / 總)USB4 · 網路來源
Apple Mac Studio (M5 Ultra)Apple · Mac Studio M5 Ultra
M5 Ultra30 核心 CPU96 / 256 / 512統一記憶體1200— / —6 × USB410GbEsupport.apple.com
Apple Mac Studio (M5 Max)Apple · Mac Studio M5 Max
M5 Max18 核心 CPU36 / 48 / 64 / 128統一記憶體614— / —4 × USB410GbEsupport.apple.com
Apple Mac mini (M5 Pro)Apple · Mac mini M5 Pro
M5 Pro15 核心 CPU24 / 48 / 64統一記憶體307— / —3 × USB42.5GbE(可選配 10GbE)support.apple.com
Beelink GTR9 ProBeelink · GTR9 Pro
Ryzen AI Max+ 39516 核心 / 32 執行緒128LPDDR5X-8000 · 焊死25650 / 1262 × USB42× 10GbEbee-link.com
Ryzen AI Max+ 39516 核心 / 32 執行緒96 / 128LPDDR5X-800025650 / 1262 × USB42.5GbEbosgame.com
GMKtec EVO-X2GMKtec · EVO-X2
Ryzen AI Max+ 39516 核心 / 32 執行緒64 / 128LPDDR5X-800025650 / —AMD 數據USB41× 2.5GbEgmktec.com
Minisforum MS-S1 MAXMinisforum · MS-S1 MAX
Ryzen AI Max+ 39516 核心 / 32 執行緒128LPDDR5X-800025650 / 1264 × USB42× 10GbEstore.minisforum.com
Apple Mac mini (M6)Apple · Mac mini M6
M612 核心 CPU16 / 24 / 32統一記憶體170— / —3 × USB42.5GbE(可選配 10GbE)support.apple.com
Beelink SER9 Pro (Ryzen AI 9 HX 370)Beelink · SER9 Pro HX 370
Ryzen AI 9 HX 37012 核心 / 24 執行緒32LPDDR5X-7500 · 焊死12050 / 80AMD 數據1 × USB42.5GbEbee-link.com
GMKtec EVO-X1GMKtec · EVO-X1
Ryzen AI 9 HX 37012 核心 / 24 執行緒32LPDDR5X-7500 · 焊死12050 / 801 × USB42× 2.5GbEde.gmktec.com
Beelink SER8 (Ryzen 7 8845HS)Beelink · SER8 8845HS
Ryzen 7 8845HS8 核心 / 16 執行緒24 / 32 / 64DDR5 SO-DIMM-5600 · 可升級插槽 · 最高 256GB9016 / —USB42.5GbEbee-link.com
Minisforum AI X1 Pro-370Minisforum · AI X1 Pro-370
Ryzen AI 9 HX 37012 核心 / 24 執行緒—DDR5 SO-DIMM-5600 · 可升級插槽 · 最高 128GB9050 / 80AMD 數據2 × USB42× 2.5GbEstore.minisforum.com

Apple 會標示每台 Mac 的記憶體頻寬,我們直接採用;其他機型的頻寬為理論峰值:記憶體速度 × 匯流排寬度(依 AMD 規格,Ryzen AI Max+ 395 為 256-bit,Ryzen AI 9 HX 370 與 Ryzen 7 8845HS 為 128-bit),實際速度會較低。標「AMD 數據」的 NPU 數值,是品牌沒標示時採用 AMD 處理器規格。4-bit 的 70B 模型光權重就需要約 40GB,還不含上下文。

常見問題

在本機跑語言模型需要多少記憶體?
大約是模型在該量化精度下的大小,再加上下文的空間:4-bit 的 7–8B 模型約需 5GB,30B 約 18GB,70B 約 40GB。記憶體足以放下 4-bit 70B 模型的已驗證機型:Apple Mac Studio (M5 Ultra)、Apple Mac Studio (M5 Max)、Apple Mac mini (M5 Pro)、Beelink GTR9 Pro、Bosgame M5 AI Mini Desktop、GMKtec EVO-X2、Minisforum MS-S1 MAX、Beelink SER8 (Ryzen 7 8845HS)、Minisforum AI X1 Pro-370。
跑聊天機器人時,為什麼記憶體頻寬比 TOPS 重要?
每生成一個字都要把整個模型從記憶體讀一遍,所以速度受限於頻寬。同一個模型,256GB/s 的 Ryzen AI Max+ 395 機型生成速度大約是 120GB/s 的 Ryzen AI 9 HX 370 機型的兩倍。
Ryzen AI Max+ 395 和 Ryzen AI 9 HX 370 差在哪?
兩者的 NPU 都是 50 TOPS。AI Max+ 395 有 16 核心、40 CU 的 Radeon 8060S,以及 256-bit 記憶體匯流排、最高 128GB;HX 370 是 12 核心、16 CU 的 Radeon 890M 和 128-bit 匯流排。
記憶體之後可以升級嗎?
只有使用 SO-DIMM 插槽的機型可以:Beelink SER8 (Ryzen 7 8845HS)、Minisforum AI X1 Pro-370。Ryzen AI Max+ 395 機型的 LPDDR5X 記憶體購買後就固定,請一次買足。
為什麼有些型號沒有列出?
資料庫裡還有 1 款,但品牌頁面目前提供的規格不夠完整,確認後就會加入。