GPU 选购分析 —— 架构代际、产品层级与显存技术，看懂算力匹配
关于这份手册
这份手册不按品牌型号组织，按架构代际和产品层级组织。原因和 SSD 篇一致：GPU 型号每代更替、逐个列出来既冗长又像品牌背书，厂家一更新文章就失去价值。但 GPU 的底层维度——架构代际（Ampere、Hopper、Blackwell）、产品层级（消费/工作站/数据中心）、显存技术（HBM vs GDDR）、互联技术（NVLink vs PCIe）、精度档位（FP16/FP8/FP4）——这些 2–3 年内稳定。理解了这些维度，你就能判断市面上任何一代 GPU 的定位。
买 GPU 前要分清三件事：你的负载是训练还是推理（决定显存和互联需求）、是个人研究还是商用服务（决定能不能用消费卡）、单卡还是多卡（决定平台和供电）。这份手册按这三个维度组织。
快速选型表
先用一张表定位需求。这张表按场景 → 技术要求组织，型号只是当前代际的代表，换代后用同技术要求去找新型号即可。
| 场景 | 技术要求 | 当前代表（价位量级） |
|---|---|---|
| 7B 模型训练/微调 | 消费卡，32 GB 显存，PCIe 5.0 | RTX 5090（¥1.5 万） |
| 13B–34B 训练（单卡） | 工作站卡，48 GB GDDR + NVLink | RTX 6000 Ada（¥5.5 万） |
| 70B 训练（多卡切分） | 工作站卡，2×48 GB + NVLink | 2× RTX 6000 Ada（¥11 万） |
| 70B FP16 训练（生产） | 数据中心卡，8×80 GB HBM + NVLink + InfiniBand | 8× H100 SXM（¥250 万） |
| 175B 训练（旗舰） | 数据中心卡，Blackwell 架构，8×192 GB HBM3e | 8× B200（¥350 万+） |
| 70B INT8 推理（商用） | 数据中心推理卡，48 GB GDDR + PCIe | L40S（¥7.5 万） |
| 70B INT4 推理（开发） | 消费卡，32 GB 显存 | RTX 5090（¥1.5 万） |
| 3D 渲染农场节点 | 消费卡，CUDA 核心优先 | RTX 5090 / RTX 5080 |
| 本地开发/原型 | 消费卡，16–32 GB | RTX 5080（¥0.9 万） |
| 虚拟化/vGPU 池化 | 数据中心卡，硬件 vGPU 支持 | L40S / A10 |
量级说明：消费卡按京东/天猫主流渠道价；工作站和数据中心卡按 NVIDIA 官方建议价或主流分销商报价，实际采购价因渠道、数量浮动较大。
显存是第一约束，TFLOPS 不是
这是选型中最容易被参数表带偏的一点。NVIDIA 官方产品页把 FP16/FP8 算力（TFLOPS）放在最显眼位置，但训练场景下显存容量才是硬门槛——算力不够可以多卡分担、可以降低 batch size、可以梯度累积，显存不够模型根本放不下。
反常识纠错：TFLOPS 不等于训练速度。两张 TFLOPS 接近的卡，实际训练迭代时间可能差 2 倍以上，因为还受显存带宽、互联带宽、架构代际（Tensor Core 效率）、软件栈优化影响。看 TFLOPS 选卡是常见误区，应该看目标框架（PyTorch/DeepSpeed/vLLM）在你模型规模下的实测迭代时间。
模型规模到显存的对应
显存占用 = 模型权重 + KV cache（推理）或优化器状态（训练）+ 激活值 + 框架开销。FP16 训练的优化器状态（Adam）约等于模型参数量的 2 倍。
| 模型规模 | 参数量 | FP16 权重 | INT8 推理 | INT4 推理 | FP16 训练（含 Adam） |
|---|---|---|---|---|---|
| 7B | 70 亿 | ~14 GB | ~7 GB | ~4 GB | ~42 GB |
| 13B | 130 亿 | ~26 GB | ~13 GB | ~7 GB | ~78 GB |
| 34B | 340 亿 | ~68 GB | ~34 GB | ~17 GB | ~200 GB |
| 70B | 700 亿 | ~140 GB | ~70 GB | ~35 GB | ~420 GB |
| 175B | 1750 亿 | ~350 GB | ~175 GB | ~88 GB | ~1050 GB |
实际可用显存比标称值少 1–3 GB：CUDA 上下文、驱动、显示输出（如果接显示器）都要占用。规划显存要按可用值算，不是标称值。
NVIDIA 架构代际演进
GPU 选型的第一维度是架构代际。每代架构在 IPC、能效、Tensor Core、显存技术上都有跃迁，且代际特征 2–3 年稳定。
flowchart TD
A["Ampere<br/>2020"] --> B["Hopper<br/>2022"]
B --> C["Blackwell<br/>2024"]
A --> A1["A100<br/>HBM2e"]
B --> B1["H100<br/>HBM3"]
C --> C1["B200<br/>HBM3e"]
style A fill:#bbdefb,stroke:#2196F3
style B fill:#c8e6c9,stroke:#4CAF50
style C fill:#fff3e0,stroke:#FF9800| 架构 | 发布年份 | 关键跃迁 | 代表 GPU | 显存技术 |
|---|---|---|---|---|
| Ampere | 2020 | 第 2 代 Tensor Core、稀疏化加速、FP32/INT32 并行 | A100、RTX 30 系列 | HBM2e（A100）、GDDR6（消费） |
| Hopper | 2022 | 第 4 代 Tensor Core、FP8 Transformer Engine、Transformer Engine、DPX | H100 | HBM3 |
| Ada Lovelace | 2022 | 第 3 代 RT Core、第 4 代 Tensor Core（消费版）、着色器执行重排序 | RTX 40 系列、RTX 6000 Ada | GDDR6X / GDDR6 |
| Blackwell | 2024 | 第 5 代 Tensor Core、FP4 精度、双 die 封装、第 2 代 Transformer Engine | B200/B100、RTX 50 系列 | HBM3e（B200）、GDDR7（RTX 50） |
数据来源：NVIDIA 各代架构白皮书（Ampere GA100、Hopper GH100、Ada AD102、Blackwell GB202），docs.nvidia.com。
为什么代际比型号重要
同代架构的不同型号共享相同的计算核心设计、Tensor Core 代次、精度支持。买 GPU 时先定代际（决定能用什么精度的算力、支持什么框架特性），再在同代里按显存容量和形态选型号。
精度档位是代际的核心差异：
- Ampere 及更早：FP16 是主力精度
- Hopper：引入 FP8 Transformer Engine，训练吞吐相比 FP16 翻倍（但模型和框架要支持）
- Blackwell：进一步引入 FP4，吞吐再翻倍（同样要框架支持）
⚠️ 精度档位要框架支持。H100 的 FP8 和 B200 的 FP4 不是开箱即用——PyTorch 2.3+、Transformer Engine 库、vLLM 等框架要支持对应精度才能用上。老代码用 FP16 训练，H100 和 B200 的 FP4/FP8 算力用不上。
产品层级：消费卡、工作站卡、数据中心卡
GPU 的第二维度是产品层级。同代架构做成三档产品，差异在显存类型、互联、ECC、vGPU、驱动授权——这些差异是产品定位决定的，不会随型号换代消失。
| 维度 | 消费卡（GeForce） | 工作站卡（RTX Ada/A 系列） | 数据中心卡（H/B/A 系列） |
|---|---|---|---|
| 显存类型 | GDDR6/6X/7（最新） | GDDR6 ECC | HBM/HBM2e/HBM3/HBM3e |
| 显存容量 | 16–32 GB | 32–48 GB | 80–192 GB |
| ECC 显存 | ✗ | ✓ | ✓ |
| NVLink 多卡 | ✗（40 系起取消） | ✓（部分型号） | ✓（NVLink 4.0/5.0） |
| vGPU 虚拟化 | ✗ | ✗ | ✓（需软件 license） |
| 数据中心商用授权 | ✗（EULA 禁止） | ✓ | ✓ |
| 散热形态 | 主动散热（自带风扇） | 主动散热 | SXM 被动 / PCIe 主动 |
| 价位量级 | ¥0.9 万–1.5 万 | ¥3 万–6 万 | ¥7 万–35 万/卡 |
消费卡的硬限制
⚠️ GeForce EULA 禁止数据中心商用。NVIDIA 驱动的最终用户许可协议明确禁止 GeForce 在"数据中心"部署，2023 年的更新进一步限制了 GeForce 用于商用大模型推理服务。个人研究、教学、原型开发不受限；面向客户的商用推理服务，法务上要走工作站卡或数据中心卡。
⚠️ 消费卡从 40 系起取消 NVLink。所有 GeForce（RTX 40/50 系列）都不支持 NVLink。多卡数据交换只能走 PCIe（≤ 64 GB/s），是 NVLink 4.0（900 GB/s）的 1/14。多卡训练时 AllReduce 通信开销大。
工作站卡的定位
工作站卡的受众是工作室和企业：支持 NVLink（部分型号）、ECC 显存、可商用部署、功耗控制在工作站电源范围内（250–300W）。48 GB GDDR6 ECC 能单卡跑 34B FP16，是单机训练的甜点。
⚠️ 工作站卡 NVLink 需要桥接器。工作站卡的 NVLink 不是 SXM 那种板载互联，需要单独购买 NVLink Bridge。没装桥接器，多卡训练退回 PCIe 通信。
⚠️ 工作站卡中只有旗舰保留 NVLink。Ada 工作站卡里只有 RTX 6000 Ada 保留 NVLink，5000 及以下都取消了。需要多卡 NVLink 的工作站只能选 6000 Ada 或数据中心卡。
数据中心卡的场景
数据中心卡配 HBM 显存、NVLink 板载互联、被动散热（SXM 形态）或主动散热（PCIe 形态）。是大规模训练和多实例推理的标配。
⚠️ SXM 卡不能装工作站。H100 SXM、B200、A100 SXM 都是被动散热模组，必须装在带高风压风扇的服务器机箱（HGX 基板）里。装进工作站机箱几分钟过热降频。
⚠️ 被动 PCIe 卡要确认机箱风道。数据中心 PCIe 卡（如 L40S、A10）是被动散热，需要服务器机箱的前后贯穿风道和高速风扇。装进工作站要选主动散热版本。
⚠️ vGPU 需要软件 license。数据中心卡硬件支持 vGPU（一张卡虚拟化给多个 VM），但要额外购买 NVIDIA AI Enterprise 或 vGPU 软件 license。硬件支持不等于开箱即用。
显存技术：HBM 与 GDDR 的带宽鸿沟
显存类型是 GPU 性能的关键维度，HBM 和 GDDR 的差距是数量级的。
| 显存类型 | 典型带宽 | 用于 | 代表 GPU |
|---|---|---|---|
| GDDR6 | 500–1000 GB/s | 消费卡、工作站卡、推理卡 | RTX 40 系列、RTX 6000 Ada、L40S |
| GDDR6X | 700–1000 GB/s | 高端消费卡 | RTX 4090 |
| GDDR7 | 1000–1800 GB/s | 最新消费卡 | RTX 5090 |
| HBM2e | 1500–2000 GB/s | 上一代数据中心卡 | A100 |
| HBM3 | 2000–3400 GB/s | 当前数据中心训练卡 | H100 |
| HBM3e | 5000–8000 GB/s | 新一代数据中心训练卡 | B200 |
HBM vs GDDR 的带宽鸿沟。H100 SXM 的 HBM3 带宽 3350 GB/s，是 RTX 6000 Ada GDDR6（960 GB/s）的 3.5 倍。显存容量都是 80 GB 级别，但训练吞吐差距来自带宽。带宽敏感的训练任务（大 batch、长序列）HBM 的优势明显。
⚠️ 显存容量 ≠ 显存带宽。RTX 5090 的 GDDR7 有 1792 GB/s 带宽（接近 A100 HBM2e），但消费卡没有 ECC 和 NVLink。RTX 6000 Ada 有 ECC 和 NVLink，但 GDDR6 带宽只有 960 GB/s。“显存够大"不等于"训练够快”，带宽同样是硬约束。
互联技术：NVLink 与 PCIe
多卡训练的核心是卡间数据交换带宽。NVLink 和 PCIe 的差距是数量级的。
| 互联技术 | 单向带宽 | 用于 | 备注 |
|---|---|---|---|
| PCIe 4.0 ×16 | ~32 GB/s | 所有 GPU 的基线 | 受 CPU PCIe 通道限制 |
| PCIe 5.0 ×16 | ~64 GB/s | 最新平台 | 消费卡多卡的上限 |
| NVLink 3.0 | 600 GB/s | A100 | 板载，不需桥接器 |
| NVLink 4.0 | 600–900 GB/s | H100 | SXM 版 900，PCIe 版 600 |
| NVLink 5.0 | 1800 GB/s | B200 | 双 die 封装带来翻倍带宽 |
⚠️ 消费卡多卡走 PCIe。从 RTX 40 系起消费卡取消 NVLink，双卡训练只能 ×8+×8 PCIe，AllReduce 通信开销大。需要 NVLink 多卡训练的工作流必须上工作站卡或数据中心卡。
⚠️ 工作站卡 NVLink 需要桥接器。工作站卡的 NVLink 通过桥接器连接，不是 SXM 那种基板集成。双卡配置要单独购买 NVLink Bridge。
数据来源：NVIDIA NVLink 和 NVSwitch 技术页（nvidia.com/nvlink），NVLink 各代规格白皮书。
必须知道的坑
⚠️ GeForce EULA 禁止数据中心商用。商用推理服务必须用工作站卡或数据中心卡。
⚠️ 消费卡无 NVLink。RTX 40/50 系列都不支持，多卡训练走 PCIe 通信开销大。
⚠️ HBM vs GDDR 的带宽鸿沟。训练吞吐差距来自带宽，不只看显存容量。
⚠️ SXM 卡不能装工作站。被动散热模组必须服务器机箱。
⚠️ 被动 PCIe 卡要确认机箱风道。L40S、A10 等被动卡需要服务器机箱风道。
⚠️ vGPU 需要软件 license。硬件支持不等于开箱即用。
⚠️ 瞬态功率触发 OCP。高 TDP GPU（如 RTX 5090 的 575W、H100 的 700W）从空闲切满载时瞬态电流可达标称 TDP 的 1.4–1.6 倍，廉价电源的 OCP 会误触发关机。
⚠️ 二手矿卡风险。RTX 4090 等曾是挖矿主力，二手市场充斥矿卡。识别：GPU-Z 查 BIOS 版本、FurMark 烤机 30 分钟看温度曲线、3DMark 跑分对比均值。生产环境不建议碰二手卡。
⚠️ 二手数据中心卡来源风险。“拆机 H100"多是矿场或倒闭云厂商退役卡，可能刷过非官方 vBIOS、保修失效。生产采购走授权渠道。
⚠️ 12V-2×6 接口必须用对线。RTX 50 系列用 12V-2×6（12VHPWR 改良版），老 8pin 转接线功率承载有限，强用会过热熔毁。
⚠️ 精度档位要框架支持。Hopper 的 FP8 和 Blackwell 的 FP4 需要 PyTorch 2.3+、Transformer Engine 等框架支持才能用上。
反常识纠错：显存容量 ≠ 可用显存。标称 80 GB 的 H100，CUDA 上下文 + 驱动 + 显示输出占用后，实际可用约 76–78 GB。规划显存按可用值算。
多卡训练平台的工程落地
选购 GPU 的终点不是"买哪张卡”，而是"多卡装进机箱能稳定跑"。
功率预算计算
整机峰值功率 = GPU 功耗 × N + CPU 功耗 + 主板/内存/存储/风扇 + 20% 余量。
flowchart TD
A["功率预算"] --> B["GPU × N"]
A --> C["CPU 250–350W"]
A --> D["主板+内存+NVMe 80W"]
A --> E["风扇+水冷 50W"]
A --> F["+ 20% 余量"]
style A fill:#e3f2fd,stroke:#2196F3
style B,C,D,E,F fill:#e8f5e9,stroke:#4CAF50常见配置的功率量级：
| 配置 | GPU 功耗 | CPU 功耗 | 整机峰值 | 电源要求 |
|---|---|---|---|---|
| 单卡消费旗舰 + 高端 CPU | ~575 W | ~280 W | ~1050 W | 1200W 钛金 |
| 双卡工作站 + TR PRO | ~600 W | ~320 W | ~1200 W | 1500W 钛金 |
| 四卡数据中心推理 + EPYC | ~1400 W | ~320 W | ~2000 W | 1+1 冗余 2000W |
| 八卡数据中心训练 + 双 EPYC | ~5600 W | ~640 W | ~7000 W | HGX 整机自带 |
PCIe 通道配置
多卡训练要求每张卡跑满 PCIe ×16。CPU 的 PCIe 通道总数决定能挂几卡：
| GPU 配置 | 需要 PCIe 通道 | 消费平台 | 工作站平台 | 服务器平台 |
|---|---|---|---|---|
| 单卡 ×16 + 1 NVMe | 20 | ✓ | ✓ | ✓ |
| 双卡 ×16+×16 + 2 NVMe | 40 | ✗（只有 ×8+×8） | ✓ | ✓ |
| 四卡 ×16×4 + 2 NVMe | 72 | ✗ | ✓ | ✓ |
| 八卡 ×16 | 128 | ✗ | 仅顶级 | ✓ |
双卡以上训练必须工作站或服务器平台。详见 CPU 选购篇。
散热风道
GPU 满载温度 80°C 以上，多卡间距不足会导致上卡吸下卡热风，温度墙降频。要点：
- 工作站机箱选 GPU 之间留 2 槽以上间距的型号
- 主动散热卡可紧凑安装；被动散热卡必须服务器机箱
- 进出风方向一致，避免风道紊乱
- 机箱风扇转速按 GPU 温度联动
验收测试
新机器装好后，上线前跑这几项验收：
| 测试项 | 工具 | 通过标准 |
|---|---|---|
| GPU 烤机 | gpu-burn（GitHub） | 30 分钟无报错，温度 < 85°C |
| 显存测试 | cuda-memcheck | 无 ECC 错误或内存错误 |
| 多卡通信 | NCCL tests（all_reduce_perf） | 带宽达到 NVLink 标称的 80%+ |
| 训练基准 | MLPerf 或目标框架 benchmark | 迭代时间符合预期 |
| 电源稳定性 | FurMark + OCCT 双烤 | 30 分钟无重启、无降频 |
选型对比小结
| 抉择 | 推荐场景 | 不推荐场景 |
|---|---|---|
| 消费卡 vs 工作站卡 | 个人研究选消费卡 | 商用部署选工作站/数据中心卡（EULA） |
| 工作站卡 vs 数据中心卡 | 单机训练选工作站卡 | 大规模训练选数据中心卡（HBM + NVLink） |
| NVLink vs PCIe 多卡 | 大规模训练必须 NVLink | 单卡或轻量多卡 PCIe 够用 |
| HBM vs GDDR | 带宽敏感训练选 HBM | 推理或低预算选 GDDR |
| 最新代际 vs 上一代 | 预算充足选最新（精度档位优势） | 预算敏感选上一代（云上租 A100 性价比高） |
| 主动散热 vs 被动散热 | 工作站选主动散热 | 机房选被动散热（密度高） |
参考来源
- NVIDIA Ampere 架构白皮书（GA100）：https://docs.nvidia.com/cuda/ampere-tuning-guide/
- NVIDIA Hopper 架构白皮书（GH100）：https://docs.nvidia.com/cuda/hopper-tuning-guide/
- NVIDIA Ada Lovelace 架构白皮书：https://www.nvidia.com/en-us/geforce/ada-architecture/
- NVIDIA Blackwell 架构白皮书：https://www.nvidia.com/blackwell-architecture/
- NVIDIA Tensor Core 技术页：https://www.nvidia.com/data-center/tensor-cores/
- NVIDIA Transformer Engine 文档：https://docs.nvidia.com/deeplearning/transformer-engine/
- NVIDIA NVLink 和 NVSwitch 技术页：https://www.nvidia.com/nvlink/
- NVIDIA HBM 显存技术说明（各代架构白皮书内）：https://docs.nvidia.com/
- NVIDIA 驱动 EULA（GeForce 数据中心限制）：https://www.nvidia.com/drivers/license/
- NVIDIA vGPU 技术页：https://www.nvidia.com/data-center/vgpu/
- NVIDIA GeForce 产品家族（消费卡规格参考）：https://www.nvidia.com/geforce/
- NVIDIA RTX 工作站产品家族：https://www.nvidia.com/rtx/
- NVIDIA Data Center 产品家族：https://www.nvidia.com/data-center/
- MLPerf Training Benchmark：https://mlcommons.org/benchmarks/training/
- TechPowerUp GPU 数据库（实测数据）：https://www.techpowerup.com/gpu-specs/
- Tom’s Hardware GPU 评测：https://www.tomshardware.com/gpus/
- ServeTheHome 数据中心 GPU 评测：https://www.servethehome.com/
- NVIDIA HGX 和 DGX 系统规格：https://www.nvidia.com/data-center/hgx/