从 Bit 到 AGI第八章：推理（Inference）
第八章：推理（Inference）
从 Bit 到 AGI 专栏 · 让训练好的模型真正跑起来 · 共 15 篇
作者 David更新于
训练把权重写进显存；推理才是用户感受到的速度、成本与质量。本章从 KV Cache 的显存账开始，讲清 Paged/Flash Attention、Continuous Batching、张量/流水线并行、投机解码与采样策略，最后用毫秒/token 的数字把延迟与吞吐拆开。
本章目录
- KV Cache 是什么
- Paged Attention
- Flash Attention
- Continuous Batching
- Tensor Parallel
- Pipeline Parallel
- Speculative Decoding
- Sampling 是什么
- Temperature
- TopK
- TopP
- Prefix Caching
- 推理量化
- 延迟与吞吐
建议按顺序阅读。每篇末尾会链到下一篇；全部读完后请参阅本章总结。