已验证 12 款更新于
本地 AI 迷你电脑:内存、带宽与 AI 算力
每台迷你电脑能给本地语言模型多少内存、内存有多快,以及品牌标示的 AI TOPS。内存大小决定放得下哪些模型,内存带宽决定回答速度。 另有 1 款因来源数据不一致或不完整,暂不公开。
- 96GB 以上 CPU/GPU 共用内存
- 放得下 4-bit 的 70B 模型
- 内存可升级(SO-DIMM)
| 型号 | 处理器 | 内存 (GB) | 带宽 (GB/s) | TOPS(NPU / 总) | USB4 · 网络 | 来源 |
|---|---|---|---|---|---|---|
Apple Mac Studio (M5 Ultra)Apple · Mac Studio M5 Ultra | M5 Ultra30 内核 CPU | 96 / 256 / 512统一内存 | 1200 | — / — | 6 × USB410GbE | support.apple.com |
Apple Mac Studio (M5 Max)Apple · Mac Studio M5 Max | M5 Max18 内核 CPU | 36 / 48 / 64 / 128统一内存 | 614 | — / — | 4 × USB410GbE | support.apple.com |
Apple Mac mini (M5 Pro)Apple · Mac mini M5 Pro | M5 Pro15 内核 CPU | 24 / 48 / 64统一内存 | 307 | — / — | 3 × USB42.5GbE(可选配 10GbE) | support.apple.com |
Beelink GTR9 ProBeelink · GTR9 Pro | Ryzen AI Max+ 39516 内核 / 32 线程 | 128LPDDR5X-8000 · 焊死 | 256 | 50 / 126 | 2 × USB42× 10GbE | bee-link.com |
Bosgame M5 AI Mini DesktopBosgame · M5 | Ryzen AI Max+ 39516 内核 / 32 线程 | 96 / 128LPDDR5X-8000 | 256 | 50 / 126 | 2 × USB42.5GbE | bosgame.com |
GMKtec EVO-X2GMKtec · EVO-X2 | Ryzen AI Max+ 39516 内核 / 32 线程 | 64 / 128LPDDR5X-8000 | 256 | 50 / —AMD 数据 | USB41× 2.5GbE | gmktec.com |
Minisforum MS-S1 MAXMinisforum · MS-S1 MAX | Ryzen AI Max+ 39516 内核 / 32 线程 | 128LPDDR5X-8000 | 256 | 50 / 126 | 4 × USB42× 10GbE | store.minisforum.com |
Apple Mac mini (M6)Apple · Mac mini M6 | M612 内核 CPU | 16 / 24 / 32统一内存 | 170 | — / — | 3 × USB42.5GbE(可选配 10GbE) | support.apple.com |
Beelink SER9 Pro (Ryzen AI 9 HX 370)Beelink · SER9 Pro HX 370 | Ryzen AI 9 HX 37012 内核 / 24 线程 | 32LPDDR5X-7500 · 焊死 | 120 | 50 / 80AMD 数据 | 1 × USB42.5GbE | bee-link.com |
GMKtec EVO-X1GMKtec · EVO-X1 | Ryzen AI 9 HX 37012 内核 / 24 线程 | 32LPDDR5X-7500 · 焊死 | 120 | 50 / 80 | 1 × USB42× 2.5GbE | de.gmktec.com |
Beelink SER8 (Ryzen 7 8845HS)Beelink · SER8 8845HS | Ryzen 7 8845HS8 内核 / 16 线程 | 24 / 32 / 64DDR5 SO-DIMM-5600 · 可升级插槽 · 最高 256GB | 90 | 16 / — | USB42.5GbE | bee-link.com |
Minisforum AI X1 Pro-370Minisforum · AI X1 Pro-370 | Ryzen AI 9 HX 37012 内核 / 24 线程 | —DDR5 SO-DIMM-5600 · 可升级插槽 · 最高 128GB | 90 | 50 / 80AMD 数据 | 2 × USB42× 2.5GbE | store.minisforum.com |
Apple 会标示每台 Mac 的内存带宽,我们直接采用;其他机型的带宽为理论峰值:内存速度 × 总线宽度(依 AMD 规格,Ryzen AI Max+ 395 为 256-bit,Ryzen AI 9 HX 370 与 Ryzen 7 8845HS 为 128-bit),实际速度会较低。标「AMD 数据」的 NPU 数值,是品牌没标示时采用 AMD 处理器规格。4-bit 的 70B 模型光权重就需要约 40GB,还不含上下文。
常见问题
- 在本机跑语言模型需要多少内存?
- 大约是模型在该量化精度下的大小,再加上下文的空间:4-bit 的 7–8B 模型约需 5GB,30B 约 18GB,70B 约 40GB。内存足以放下 4-bit 70B 模型的已验证机型:Apple Mac Studio (M5 Ultra)、Apple Mac Studio (M5 Max)、Apple Mac mini (M5 Pro)、Beelink GTR9 Pro、Bosgame M5 AI Mini Desktop、GMKtec EVO-X2、Minisforum MS-S1 MAX、Beelink SER8 (Ryzen 7 8845HS)、Minisforum AI X1 Pro-370。
- 跑聊天机器人时,为什么内存带宽比 TOPS 重要?
- 每生成一个字都要把整个模型从内存读一遍,所以速度受限于带宽。同一个模型,256GB/s 的 Ryzen AI Max+ 395 机型生成速度大约是 120GB/s 的 Ryzen AI 9 HX 370 机型的两倍。
- Ryzen AI Max+ 395 和 Ryzen AI 9 HX 370 差在哪?
- 两者的 NPU 都是 50 TOPS。AI Max+ 395 有 16 内核、40 CU 的 Radeon 8060S,以及 256-bit 内存总线、最高 128GB;HX 370 是 12 内核、16 CU 的 Radeon 890M 和 128-bit 总线。
- 内存之后可以升级吗?
- 只有使用 SO-DIMM 插槽的机型可以:Beelink SER8 (Ryzen 7 8845HS)、Minisforum AI X1 Pro-370。Ryzen AI Max+ 395 机型的 LPDDR5X 内存购买后就固定,请一次买足。
- 为什么有些型号没有列出?
- 数据库里还有 1 款,但品牌页面目前提供的规格不够完整,确认后就会加入。