从 Bit 到 AGI第九章：GPU
第九章总结
GPU 硬件概念串联：从 CUDA 到显存容量规划
作者 David更新于 第 140 篇（共 186 篇）
本章从程序员视角拆解了 NVIDIA GPU 如何支撑 LLM 训练与推理。以下是把各篇串成一张「心智地图」的速查——更细的公式与数字请回看对应文章。
概念地图
图表加载中…
关键数字速查
| 概念 | 量级 | 记忆点 |
|---|---|---|
| HBM 带宽 | 2000–4800 GB/s | 单卡内部数据主干道 |
| PCIe 4.0 ×16 | ~32 GB/s | 主机↔GPU；权重应常驻显存 |
| NVLink（H100） | ~数百 GB/s | 多卡并行必备 |
| Warp | 32 线程 | 分支发散的代价单位 |
| H100 FP16 Tensor | ~989 TFLOPS | 峰值算力，实际更低 |
| 7B FP16 权重 | 14 GB | 参数量 × 2 bytes |
| 70B FP16 权重 | 140 GB | 单卡 80 GB 装不下 |
与本专栏其他章节的衔接
- 第五章 Transformer：Attention 与 MLP 的 GEMM 是 Tensor Core 的主战场。
- 第七章训练：分布式训练、LoRA、梯度累积——在显存与通信约束下做取舍。
- 第八章推理：KV Cache、张量并行、PagedAttention——在 GPU 硬件上优化延迟与吞吐。
- 第十一章工程：vLLM、TensorRT-LLM 等把本章硬件知识封装成生产服务。
选型 Checklist
- 只推理 7B FP16？ 24 GB 消费卡可能够；留 KV 与 runtime 余量。
- 70B 推理？ INT4 ~35 GB 权重 + KV → 48–80 GB 卡；或张量并行。
- 70B 训练？ 多卡 H100 + NVLink + 节点间 IB；显存算 optimizer。
- 本地双 4090？ 无 NVLink，模型并行经 PCIe，预期降低。
本章目录回顾
继续阅读 → 第十章：训练你的 LLM