跑本地大模型的真实硬件账单：显存、带宽、电费，到底该买什么

先算一笔很多人没算的账

假设你想本地跑一个 30B 级别的模型，替代每月 300 元的 API 费用。

• 一台能流畅跑 30B（Q4量化）的机器：约 2 万元
• 电费：满载 450W，每天跑 4 小时，一年约 260 元
• 三年折旧：每年约 6600 元

一年的硬件成本是 6860 元，而 API 是 3600 元。

本地部署在纯成本上亏了一倍。那为什么还有人做？因为成本之外还有三样东西：数据不出门、延迟可控、不受限流。这三样值不值钱，取决于你的场景。

如果你只是想要”便宜”，本地大概率不划算。如果你要的是可控，那才是本地的正确理由。

决定能不能跑的，不是显存，是带宽

社区里最常见的误解是”显存够大就能跑”。实际上，推理速度主要由内存带宽决定，不是算力。

粗略估算公式：

生成速度(tokens/s) ≈ 内存带宽(GB/s) ÷ 模型权重体积(GB)

举例，一个 7B 模型 Q4 量化后约 4.5 GB：

• DDR5 双通道（约 90 GB/s）：约 20 tokens/s —— 能聊天，勉强
• GDDR6X 显卡（如 1000 GB/s 级别）：远高于带宽上限，受算力约束，实测 60–100 tokens/s
• Apple 统一内存 M4 Max（约 546 GB/s）：约 100 tokens/s

这解释了一个反直觉现象：某些笔记本内存很大的机器，跑大模型比服务器 CPU 还快——因为统一内存带宽高，而服务器内存条通常是多通道 DDR5，带宽也就 300–400 GB/s。

三档预算方案

5000 元档：本地试验田

• 二手 24GB 显存的消费级显卡（如 3090 二手）或大显存 Mac mini
• 能跑：7B–14B（Q4），14B 约 20–30 tokens/s
• 适合：个人学习、本地跑小模型做隐私数据处理、离线笔记助手
• 不适合：多人共享、长上下文（超过 16K 上下文后 KV cache 吃掉大量显存，速度骤降）

2 万元档：一人一机的主力

• 单张 24–32GB 显存显卡 + 64GB 系统内存
• 能跑：30B（Q4）勉强，14B（Q8）流畅
• 适合：个人开发者做 RAG、写代码补全、本地 Agent
• 关键取舍：长上下文与显存直接冲突。32K 上下文的 14B 模型，KV cache 可能就要 4–6 GB，务必留余量

8 万元档：小团队内网服务

• 2–4 张数据中心或工作站显卡，或一台高带宽统一内存机器
• 能跑：70B（Q4）或 2×32B 并行
• 适合：5–20 人团队内部用，做私有知识库、代码助手
• 别忘了：还要一台能跑 vLLM/SGLang 的机器，以及一个懂运维的人

被低估的三项隐性成本

1. 模型更新的机会成本。 云端 API 每周都在换新模型，本地机器换不了。你三个月前买的硬件，可能已经跑不动最新一代的架构（比如新的注意力机制、更大的上下文窗口）。硬件的”技术折旧”比财务折旧快得多，实际按两年算更靠谱。

2. 你的时间。 部署一套能用的推理服务（量化、批处理、并发、监控、鉴权），一个人认真做大概 3–5 天。这还不算后期调优。按人工成本算，轻松超过一台机器的钱。

3. 并发下的显存爆炸。 单人用 24GB 跑 14B 没问题。三个人同时用，吞吐量不会变成三倍，而是会排队或者 OOM。真正做服务的显存规划要按”峰值并发 × KV cache”算，这个数字通常比你想的大 2–3 倍。

什么情况下本地才真的划算

满足以下三条中的两条以上，再考虑本地：

1. 数据不能出内网（医疗、法律、金融、涉密项目）——这是最硬的理由
2. 调用量极大且模式固定（比如每天跑千万级 token 的批量分类）——此时本地摊薄后的边际成本可能低于 API
3. 需要离线或低延迟（工厂、车载、断网环境）

反过来，以下情况不要本地：

• 只是图便宜
• 需要用到最前沿的模型能力
• 团队里没人愿意维护
• 用量波动大（本地是固定成本，API 是可变成本，波动大时 API 更优）

一个更现实的组合

混合是 2026 年的主流答案。

• 日常 80% 的简单任务（分类、摘要、改写）走本地小模型，成本接近于零
• 20% 的复杂推理（长文档分析、代码重构、Agent 规划）走云端大模型
• 用一个路由层自动判分任务是”简单”还是”复杂”

这样既保住了数据敏感部分的内网处理，又不用为最复杂的任务买最贵的硬件。真正该优化的不是”本地还是云端”，而是**“哪些任务值得花大模型的钱”**。