# 从 Bit 到 AGI

> 用程序员视角，从比特、数学、信息论一路讲到 Transformer、训练、推理与 AGI，共十二阶段 186 篇。

- 作者：David（道雾轩）
- 最后更新：2026-08-03
- 原文：https://daiw.org/manual/bit-to-agi
- 转载与引用：请注明出处并附原文链接（https://daiw.org/about/copyright）

一条从 **0 和 1** 走到 **AGI** 的学习路径：不讲玄学，只讲程序员能亲手验证的直觉与工程。

本专栏 **186 篇**（十二阶段），每章独立成册，可顺序阅读，也可按需跳转。

```
第 1 章  比特（Bit）
    ↓
第 2 章  数学（Math）
    ↓
第 3 章  信息（Information）
    ↓
第 4 章  神经元（Neuron）
    ↓
第 5 章  Transformer
    ↓
第 6 章  Token
    ↓
第 7 章  训练（Training）
    ↓
第 8 章  推理（Inference）
    ↓
第 9 章  GPU
    ↓
第 10 章 自己训练一个模型
    ↓
第 11 章 工程化（Serving）
    ↓
第 12 章 未来（AGI）
```

## 十二阶段

1. [第一章：比特（Bit）](https://daiw.org/manual/bit-to-agi/01-bits) — 20 篇 · Everything is Bits
2. [第二章：数学（Math）](https://daiw.org/manual/bit-to-agi/02-math) — 15 篇 · 程序员视角的数学
3. [第三章：信息（Information）](https://daiw.org/manual/bit-to-agi/03-information) — 10 篇 · 信息论与语言模型
4. [第四章：神经元（Neuron）](https://daiw.org/manual/bit-to-agi/04-neural-networks) — 20 篇 · 神经网络基础
5. [第五章：Transformer](https://daiw.org/manual/bit-to-agi/05-transformer) — 20 篇 · 统一世界的架构
6. [第六章：Token](https://daiw.org/manual/bit-to-agi/06-tokenizer) — 10 篇 · Tokenizer
7. [第七章：训练（Training）](https://daiw.org/manual/bit-to-agi/07-training) — 20 篇 · 从预训练到对齐
8. [第八章：推理（Inference）](https://daiw.org/manual/bit-to-agi/08-inference) — 15 篇 · 让模型跑起来
9. [第九章：GPU](https://daiw.org/manual/bit-to-agi/09-gpu) — 10 篇 · 硬件与算力
10. [第十章：自己训练一个模型](https://daiw.org/manual/bit-to-agi/10-train-your-llm) — 20 篇 · 端到端实战
11. [第十一章：工程化（Serving）](https://daiw.org/manual/bit-to-agi/11-engineering) — 15 篇 · 生产级部署
12. [第十二章：未来（AGI）](https://daiw.org/manual/bit-to-agi/12-future) — 10 篇 · 通向 AGI

## 附录

- [AI术语大全](https://daiw.org/manual/bit-to-agi/ai-glossary) — 全书约 120 条术语总索引（按章节 + A–Z 缩写速查）

## 适合谁

- 想搞懂 LLM 但不想先啃四年数学系的程序员
- 已经会用 API，想知道「模型里面到底发生了什么」的工程师
- 打算自己训模型、部署服务、做 Agent 的实践者

## 写作原则

1. **先比特，后 AI**——第一章完全不碰模型，先把「世界如何被计算机表示」讲透。
2. **代码优先**——能用十行 Python 或一张图说清楚的，不写公式堆砌。
3. **可跳转**——每篇独立成文，目录即知识地图。

## 本专栏篇目

- [从 Bit 到 AGI](https://daiw.org/manual/bit-to-agi.md): 用程序员视角，从比特、数学、信息论一路讲到 Transformer、训练、推理与 AGI，共十二阶段 186 篇。

### 第一章：比特（Bit）

- [第一章：比特（Bit）](https://daiw.org/manual/bit-to-agi/01-bits.md): 从 0 和 1 出发，理解数字、文件、内存与矩阵——AI 的物理底座。
- [为什么 AI 最后只是比特](https://daiw.org/manual/bit-to-agi/01-bits/why-ai-is-bits.md): 从照片、权重到 GPU 显存——现代 AI 在计算机里不过是海量 0 和 1 的排列组合
- [为什么世界只有 0 和 1](https://daiw.org/manual/bit-to-agi/01-bits/why-world-is-01.md): 从晶体管开关到全部数字信息——为什么两个符号就够表示一切。
- [CPU 如何理解世界](https://daiw.org/manual/bit-to-agi/01-bits/how-cpu-understands-world.md): 同一段 0101，可以是数字、指令或像素——解释规则决定含义。
- [整数如何表示](https://daiw.org/manual/bit-to-agi/01-bits/integer-representation.md): 补码、溢出与 int32/int64——CPU 里的整数算术规则。
- [浮点数为什么会有误差](https://daiw.org/manual/bit-to-agi/01-bits/floating-point-error.md): IEEE 754、0.1+0.2≠0.3 与 FP16/BF16——神经网络为何仍能用「近似数」。
- [图片为什么可以压缩](https://daiw.org/manual/bit-to-agi/01-bits/why-images-compress.md): 空间冗余、感知冗余与 JPEG/PNG——768 KB 原图如何变成 80 KB。
- [为什么视频可以压缩](https://daiw.org/manual/bit-to-agi/01-bits/why-video-compresses.md): 帧间预测、GOP 与码率——1 小时 4K 如何从 TB 级降到 GB 级。
- [声音为什么可以数字化](https://daiw.org/manual/bit-to-agi/01-bits/why-audio-digitizes.md): 采样率、位深与奈奎斯特定理——从声波到 Whisper 的 16 kHz 波形。
- [文字为什么最后都是 UTF-8](https://daiw.org/manual/bit-to-agi/01-bits/why-text-is-utf8.md): Unicode 码点、UTF-8 变长编码与 tokenizer——中文为何占 3 字节。
- [文件是什么](https://daiw.org/manual/bit-to-agi/01-bits/what-is-a-file.md): inode、路径与字节流——model.safetensors 在磁盘上究竟是什么。
- [内存是什么](https://daiw.org/manual/bit-to-agi/01-bits/what-is-memory.md): RAM、虚拟地址与页表——16 GB 权重如何映射进进程地址空间。
- [Cache 是什么](https://daiw.org/manual/bit-to-agi/01-bits/what-is-cache.md): L1/L2/L3、局部性与 cache line——为何遍历方式能差 10 倍速度。
- [GPU 为什么快](https://daiw.org/manual/bit-to-agi/01-bits/why-gpu-is-fast.md): 吞吐 vs 延迟、数千核心与 HBM——矩阵乘为何在 GPU 上快 100 倍。
- [SIMD 是什么](https://daiw.org/manual/bit-to-agi/01-bits/what-is-simd.md): SSE/AVX/NEON 一条指令算多个数——CPU 上的向量化与 NumPy 的底层。
- [矩阵为什么连续存储](https://daiw.org/manual/bit-to-agi/01-bits/why-matrices-are-contiguous.md): 行优先、stride 与 contiguity——PyTorch 张量布局如何影响性能。
- [为什么 AI 喜欢矩阵](https://daiw.org/manual/bit-to-agi/01-bits/why-ai-likes-matrices.md): 线性变换、批量并行与 Attention——神经网络即大规模矩阵乘。
- [位、字节与寻址](https://daiw.org/manual/bit-to-agi/01-bits/bits-and-bytes.md): 8 bit 一字节、指针与 64 位地址——算清模型体积与对齐。
- [大端与小端](https://daiw.org/manual/bit-to-agi/01-bits/endianness.md): 字节序、网络序与跨平台权重——为何 0x12345678 在内存里两种摆法。
- [从比特到程序](https://daiw.org/manual/bit-to-agi/01-bits/from-bits-to-programs.md): 源码、机器码、进程与一次 LLM 推理——比特如何变成可运行程序。
- [第一章总结](https://daiw.org/manual/bit-to-agi/01-bits/chapter-summary.md): 比特、字节、内存与矩阵——第一章知识地图与第二章衔接。

### 第二章：数学（Math）

- [第二章：数学（Math）](https://daiw.org/manual/bit-to-agi/02-math.md): 从 Bit 到 AGI 专栏 · 程序员视角的数学 · 共 15 篇
- [向量是什么](https://daiw.org/manual/bit-to-agi/02-math/what-is-a-vector.md): 从 Bit 到 AGI · 第二章：数学（Math） · 向量是什么
- [矩阵是什么](https://daiw.org/manual/bit-to-agi/02-math/what-is-a-matrix.md): 从 Bit 到 AGI · 第二章：数学（Math） · 矩阵是什么
- [为什么矩阵乘法这么重要](https://daiw.org/manual/bit-to-agi/02-math/why-matrix-multiply-matters.md): 从 Bit 到 AGI · 第二章：数学（Math） · 为什么矩阵乘法这么重要
- [梯度是什么](https://daiw.org/manual/bit-to-agi/02-math/what-is-gradient.md): 从 Bit 到 AGI · 第二章：数学（Math） · 梯度是什么
- [导数为什么可以学习](https://daiw.org/manual/bit-to-agi/02-math/why-derivatives-enable-learning.md): 从 Bit 到 AGI · 第二章：数学（Math） · 导数为什么可以学习
- [偏导数是什么](https://daiw.org/manual/bit-to-agi/02-math/what-is-partial-derivative.md): 从 Bit 到 AGI · 第二章：数学（Math） · 偏导数是什么
- [链式法则是什么](https://daiw.org/manual/bit-to-agi/02-math/chain-rule.md): 从 Bit 到 AGI · 第二章：数学（Math） · 链式法则是什么
- [为什么损失函数可以下降](https://daiw.org/manual/bit-to-agi/02-math/why-loss-can-descend.md): 从 Bit 到 AGI · 第二章：数学（Math） · 为什么损失函数可以下降
- [概率是什么](https://daiw.org/manual/bit-to-agi/02-math/what-is-probability.md): 从 Bit 到 AGI · 第二章：数学（Math） · 概率是什么
- [贝叶斯是什么](https://daiw.org/manual/bit-to-agi/02-math/what-is-bayes.md): 从 Bit 到 AGI · 第二章：数学（Math） · 贝叶斯是什么
- [点积是什么](https://daiw.org/manual/bit-to-agi/02-math/dot-product.md): 从 Bit 到 AGI · 第二章：数学（Math） · 点积是什么
- [范数与距离](https://daiw.org/manual/bit-to-agi/02-math/norms-and-distance.md): 从 Bit 到 AGI · 第二章：数学（Math） · 范数与距离
- [特征值的直觉](https://daiw.org/manual/bit-to-agi/02-math/eigenvalues-intuition.md): 从 Bit 到 AGI · 第二章：数学（Math） · 特征值的直觉
- [Softmax 与 Logits](https://daiw.org/manual/bit-to-agi/02-math/softmax-and-logits.md): 从 Bit 到 AGI · 第二章：数学（Math） · Softmax 与 Logits
- [第二章总结](https://daiw.org/manual/bit-to-agi/02-math/chapter-summary.md): 从 Bit 到 AGI · 第二章：数学（Math） · 第二章总结

### 第三章：信息（Information）

- [第三章：信息（Information）](https://daiw.org/manual/bit-to-agi/03-information.md): 从 Bit 到 AGI 专栏 · 信息论与语言模型 · 共 10 篇
- [什么是信息](https://daiw.org/manual/bit-to-agi/03-information/what-is-information.md): 从 Bit 到 AGI · 第三章：信息（Information） · 什么是信息
- [信息熵是什么](https://daiw.org/manual/bit-to-agi/03-information/what-is-entropy.md): 从 Bit 到 AGI · 第三章：信息（Information） · 信息熵是什么
- [为什么压缩就是去除信息冗余](https://daiw.org/manual/bit-to-agi/03-information/compression-removes-redundancy.md): 从 Bit 到 AGI · 第三章：信息（Information） · 为什么压缩就是去除信息冗余
- [为什么语言具有统计规律](https://daiw.org/manual/bit-to-agi/03-information/language-has-statistics.md): 从 Bit 到 AGI · 第三章：信息（Information） · 为什么语言具有统计规律
- [为什么 GPT 可以预测下一个 Token](https://daiw.org/manual/bit-to-agi/03-information/why-gpt-predicts-next-token.md): 从 Bit 到 AGI · 第三章：信息（Information） · 为什么 GPT 可以预测下一个 Token
- [互信息是什么](https://daiw.org/manual/bit-to-agi/03-information/mutual-information.md): 从 Bit 到 AGI · 第三章：信息（Information） · 互信息是什么
- [交叉熵是什么](https://daiw.org/manual/bit-to-agi/03-information/cross-entropy.md): 从 Bit 到 AGI · 第三章：信息（Information） · 交叉熵是什么
- [KL 散度是什么](https://daiw.org/manual/bit-to-agi/03-information/kl-divergence.md): 从 Bit 到 AGI · 第三章：信息（Information） · KL 散度是什么
- [预测即压缩](https://daiw.org/manual/bit-to-agi/03-information/prediction-is-compression.md): 从 Bit 到 AGI · 第三章：信息（Information） · 预测即压缩
- [第三章总结](https://daiw.org/manual/bit-to-agi/03-information/chapter-summary.md): 从 Bit 到 AGI · 第三章：信息（Information） · 第三章总结

### 第四章：神经元（Neuron）

- [第四章：神经元（Neuron）](https://daiw.org/manual/bit-to-agi/04-neural-networks.md): 从 Bit 到 AGI 专栏 · 神经网络基础 · 共 20 篇
- [什么是神经元](https://daiw.org/manual/bit-to-agi/04-neural-networks/what-is-neuron.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · 什么是神经元
- [为什么要激活函数](https://daiw.org/manual/bit-to-agi/04-neural-networks/why-activation-functions.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · 为什么要激活函数
- [ReLU 为什么成功](https://daiw.org/manual/bit-to-agi/04-neural-networks/why-relu-wins.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · ReLU 为什么成功
- [Sigmoid 为什么失败](https://daiw.org/manual/bit-to-agi/04-neural-networks/why-sigmoid-fails.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · Sigmoid 为什么失败
- [MLP 是什么](https://daiw.org/manual/bit-to-agi/04-neural-networks/what-is-mlp.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · MLP 是什么
- [CNN 为什么成功](https://daiw.org/manual/bit-to-agi/04-neural-networks/why-cnn-succeeds.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · CNN 为什么成功
- [RNN 为什么消失](https://daiw.org/manual/bit-to-agi/04-neural-networks/why-rnn-vanishes.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · RNN 为什么消失
- [LSTM 解决了什么](https://daiw.org/manual/bit-to-agi/04-neural-networks/what-lstm-solves.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · LSTM 解决了什么
- [Attention 为什么出现](https://daiw.org/manual/bit-to-agi/04-neural-networks/why-attention-emerged.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · Attention 为什么出现
- [前向传播是什么](https://daiw.org/manual/bit-to-agi/04-neural-networks/forward-pass.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · 前向传播是什么
- [反向传播是什么](https://daiw.org/manual/bit-to-agi/04-neural-networks/backward-pass.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · 反向传播是什么
- [权重初始化](https://daiw.org/manual/bit-to-agi/04-neural-networks/weight-initialization.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · 权重初始化
- [批归一化是什么](https://daiw.org/manual/bit-to-agi/04-neural-networks/batch-normalization.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · 批归一化是什么
- [Dropout 是什么](https://daiw.org/manual/bit-to-agi/04-neural-networks/dropout.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · Dropout 是什么
- [过拟合与正则化](https://daiw.org/manual/bit-to-agi/04-neural-networks/overfitting-and-regularization.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · 过拟合与正则化
- [损失函数家族](https://daiw.org/manual/bit-to-agi/04-neural-networks/loss-functions.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · 损失函数家族
- [优化器：SGD 与 Adam](https://daiw.org/manual/bit-to-agi/04-neural-networks/optimizer-sgd-adam.md): 从 Bit 到 AGI · 第四章：神经元（Neuron） · 优化器：SGD 与 Adam
- [从感知机到深度网络](https://daiw.org/manual/bit-to-agi/04-neural-networks/from-perceptron-to-deep.md): 从 Bit 到 AGI · 第四章 · 1958 年感知机到今日千亿参数深度网络的演化脉络
- [万能近似定理的直觉](https://daiw.org/manual/bit-to-agi/04-neural-networks/universal-approximation.md): 从 Bit 到 AGI · 第四章 · 为什么足够宽的网络理论上能拟合任意连续函数
- [第四章总结](https://daiw.org/manual/bit-to-agi/04-neural-networks/chapter-summary.md): 从 Bit 到 AGI · 神经元、反向传播、CNN/RNN 到 Attention——第四章知识地图

### 第五章：Transformer

- [第五章：Transformer](https://daiw.org/manual/bit-to-agi/05-transformer.md): 从 Bit 到 AGI 专栏 · 统一世界的架构 · 共 20 篇
- [Embedding 是什么](https://daiw.org/manual/bit-to-agi/05-transformer/what-is-embedding.md): 从 Bit 到 AGI · 第五章：Transformer · 词如何把离散符号变成可计算的向量
- [Position Encoding](https://daiw.org/manual/bit-to-agi/05-transformer/position-encoding.md): 从 Bit 到 AGI · 第五章：Transformer · 如何让模型感知 token 的顺序
- [Self Attention](https://daiw.org/manual/bit-to-agi/05-transformer/self-attention.md): 从 Bit 到 AGI · 第五章：Transformer · 序列每个位置如何「看见」全句
- [Q、K、V 是什么](https://daiw.org/manual/bit-to-agi/05-transformer/qkv.md): 从 Bit 到 AGI · 第五章：Transformer · Query、Key、Value 三投影的几何含义
- [Residual 连接](https://daiw.org/manual/bit-to-agi/05-transformer/residual-connection.md): 从 Bit 到 AGI · 第五章：Transformer · 残差如何让 12 层网络可训练
- [LayerNorm](https://daiw.org/manual/bit-to-agi/05-transformer/layer-norm.md): 从 Bit 到 AGI · 第五章：Transformer · 层归一化如何稳定 768 维激活
- [Feed Forward 层](https://daiw.org/manual/bit-to-agi/05-transformer/feed-forward.md): 从 Bit 到 AGI · 第五章：Transformer · 每个 token 上的两层 MLP 在算什么
- [Multi Head Attention](https://daiw.org/manual/bit-to-agi/05-transformer/multi-head-attention.md): 从 Bit 到 AGI · 第五章：Transformer · 12 个头如何并行看 12 种关系
- [Decoder 是什么](https://daiw.org/manual/bit-to-agi/05-transformer/decoder.md): 从 Bit 到 AGI · 第五章：Transformer · 因果自回归解码器如何逐 token 生成
- [Encoder 是什么](https://daiw.org/manual/bit-to-agi/05-transformer/encoder.md): 从 Bit 到 AGI · 第五章：Transformer · 双向编码器如何读完整句子
- [Encoder-Decoder 架构](https://daiw.org/manual/bit-to-agi/05-transformer/encoder-decoder.md): 从 Bit 到 AGI · 第五章：Transformer · 原始翻译模型与 T5 的编解码组合
- [为什么 Transformer 统一世界](https://daiw.org/manual/bit-to-agi/05-transformer/why-transformer-unifies.md): 从 Bit 到 AGI · 第五章：Transformer · 从 NLP 到视觉与多模态的同一骨架
- [Attention 的复杂度](https://daiw.org/manual/bit-to-agi/05-transformer/attention-complexity.md): 从 Bit 到 AGI · 第五章：Transformer · 为什么序列变长时 Attention 成为瓶颈
- [位置编码的变体](https://daiw.org/manual/bit-to-agi/05-transformer/positional-encoding-variants.md): 从 Bit 到 AGI · 第五章：Transformer · 从正弦到 RoPE 与 ALiBi 的长上下文演进
- [Pre-Norm 与 Post-Norm](https://daiw.org/manual/bit-to-agi/05-transformer/pre-norm-vs-post-norm.md): 从 Bit 到 AGI · 第五章：Transformer · 层归一化在残差前后的训练差异
- [BERT 与 GPT 的区别](https://daiw.org/manual/bit-to-agi/05-transformer/bert-vs-gpt.md): 从 Bit 到 AGI · 第五章：Transformer · 理解模型与生成模型如何分野又殊途同归
- [缩放定律入门](https://daiw.org/manual/bit-to-agi/05-transformer/scaling-laws-intro.md): 从 Bit 到 AGI · 第五章：Transformer · 参数量、数据与算力如何预测 loss
- [从 RNN 到 Transformer](https://daiw.org/manual/bit-to-agi/05-transformer/from-rnn-to-transformer.md): 从 Bit 到 AGI · 第五章：Transformer · 序列建模如何从逐步递推走向并行注意力
- [Transformer 块的解剖](https://daiw.org/manual/bit-to-agi/05-transformer/transformer-block-anatomy.md): 从 Bit 到 AGI · 第五章：Transformer · 一层 Block 内数据流与参数量全景
- [第五章总结](https://daiw.org/manual/bit-to-agi/05-transformer/chapter-summary.md): 从 Bit 到 AGI · 第五章：Transformer · 从 Embedding 到 Scaling Laws 的知识地图

### 第六章：Token

- [第六章：Token](https://daiw.org/manual/bit-to-agi/06-tokenizer.md): 从 Bit 到 AGI 专栏 · Tokenizer · 共 10 篇
- [Token 是什么](https://daiw.org/manual/bit-to-agi/06-tokenizer/what-is-token.md): 从 Bit 到 AGI · 第六章：Token · Token 是什么
- [为什么不用汉字](https://daiw.org/manual/bit-to-agi/06-tokenizer/why-not-chinese-char.md): 从 Bit 到 AGI · 第六章：Token · 为什么不用汉字
- [为什么不用单词](https://daiw.org/manual/bit-to-agi/06-tokenizer/why-not-english-word.md): 从 Bit 到 AGI · 第六章：Token · 为什么不用单词
- [BPE 是什么](https://daiw.org/manual/bit-to-agi/06-tokenizer/what-is-bpe.md): 从 Bit 到 AGI · 第六章：Token · BPE 是什么
- [SentencePiece 是什么](https://daiw.org/manual/bit-to-agi/06-tokenizer/what-is-sentencepiece.md): 从 Bit 到 AGI · 第六章：Token · SentencePiece 是什么
- [为什么 Token 越来越多](https://daiw.org/manual/bit-to-agi/06-tokenizer/why-tokens-grow.md): 从 Bit 到 AGI · 第六章：Token · 为什么 Token 越来越多
- [为什么中文 Token 更贵](https://daiw.org/manual/bit-to-agi/06-tokenizer/why-chinese-tokens-cost-more.md): 从 Bit 到 AGI · 第六章：Token · 为什么中文 Token 更贵
- [词表大小如何选](https://daiw.org/manual/bit-to-agi/06-tokenizer/vocabulary-size.md): 从 Bit 到 AGI · 第六章：Token · 词表大小如何选
- [Tokenization 的坑](https://daiw.org/manual/bit-to-agi/06-tokenizer/tokenization-pitfalls.md): 从 Bit 到 AGI · 第六章：Token · Tokenization 的坑
- [第六章总结](https://daiw.org/manual/bit-to-agi/06-tokenizer/chapter-summary.md): 从 Bit 到 AGI · 第六章：Token · 第六章总结

### 第七章：训练（Training）

- [第七章：训练（Training）](https://daiw.org/manual/bit-to-agi/07-training.md): 从 Bit 到 AGI 专栏 · 从预训练到对齐 · 共 20 篇
- [预训练是什么](https://daiw.org/manual/bit-to-agi/07-training/what-is-pretraining.md): 从 Bit 到 AGI · 第七章：训练 · 用海量文本预测下一个 token，把随机权重变成语言模型
- [SFT 是什么](https://daiw.org/manual/bit-to-agi/07-training/what-is-sft.md): 从 Bit 到 AGI · 第七章：训练 · 监督微调：用指令-回答对把预训练模型变成助手
- [RLHF 是什么](https://daiw.org/manual/bit-to-agi/07-training/what-is-rlhf.md): 从 Bit 到 AGI · 第七章：训练 · 用人类反馈强化学习，让模型更符合偏好
- [DPO 是什么](https://daiw.org/manual/bit-to-agi/07-training/what-is-dpo.md): 从 Bit 到 AGI · 第七章：训练 · 直接偏好优化：跳过 RL，用对比损失对齐模型
- [GRPO 是什么](https://daiw.org/manual/bit-to-agi/07-training/what-is-grpo.md): 从 Bit 到 AGI · 第七章：训练 · 组相对策略优化：DeepSeek 用于推理模型的 RL 新范式
- [MoE 是什么](https://daiw.org/manual/bit-to-agi/07-training/what-is-moe.md): 从 Bit 到 AGI · 第七章：训练 · 混合专家：大参数量、小激活算力
- [LoRA 是什么](https://daiw.org/manual/bit-to-agi/07-training/what-is-lora.md): 从 Bit 到 AGI · 第七章：训练 · 低秩适配：冻结大模型，只训小矩阵
- [QLoRA 是什么](https://daiw.org/manual/bit-to-agi/07-training/what-is-qlora.md): 从 Bit 到 AGI · 第七章：训练 · 4-bit 量化基座 + LoRA，单卡微调 65B
- [蒸馏是什么](https://daiw.org/manual/bit-to-agi/07-training/distillation.md): 从 Bit 到 AGI · 第七章：训练 · 知识蒸馏：Teacher 的软标签教 Student 以小博大
- [Checkpoint 是什么](https://daiw.org/manual/bit-to-agi/07-training/checkpoint.md): 从 Bit 到 AGI · 第七章：训练 · 保存训练快照：权重、优化器与恢复
- [数据配比](https://daiw.org/manual/bit-to-agi/07-training/data-mixing.md): 从 Bit 到 AGI · 第七章：训练 · 预训练与 SFT 语料混合比例如何影响能力
- [学习率调度](https://daiw.org/manual/bit-to-agi/07-training/learning-rate-schedule.md): 从 Bit 到 AGI · 第七章：训练 · Warmup、Cosine 与 LR 如何影响收敛
- [梯度累积](https://daiw.org/manual/bit-to-agi/07-training/gradient-accumulation.md): 从 Bit 到 AGI · 第七章：训练 · 用小 batch 多次 forward 模拟大 batch 更新
- [混合精度训练](https://daiw.org/manual/bit-to-agi/07-training/mixed-precision-training.md): 从 Bit 到 AGI · 第七章：训练 · BF16/FP16 与 FP32 主权重：更快更省显存
- [分布式训练概览](https://daiw.org/manual/bit-to-agi/07-training/distributed-training-overview.md): 从 Bit 到 AGI · 第七章：训练 · 数据并行、张量并行、流水线与 ZeRO
- [评估指标](https://daiw.org/manual/bit-to-agi/07-training/evaluation-metrics.md): 从 Bit 到 AGI · 第七章：训练 · Perplexity、Benchmark 与训练 loss 的关系
- [对齐概览](https://daiw.org/manual/bit-to-agi/07-training/alignment-overview.md): 从 Bit 到 AGI · 第七章：训练 · Helpful、Honest、Harmless 与对齐流水线全景
- [奖励模型](https://daiw.org/manual/bit-to-agi/07-training/reward-model.md): 从 Bit 到 AGI · 第七章：训练 · Reward Model：从人类偏好学习标量分数
- [训练稳定性](https://daiw.org/manual/bit-to-agi/07-training/training-stability.md): 从 Bit 到 AGI · 第七章：训练 · Loss spike、梯度爆炸与 NaN 的排查与预防
- [第七章总结](https://daiw.org/manual/bit-to-agi/07-training/chapter-summary.md): 从 Bit 到 AGI · 第七章：训练 · 从预训练到对齐的全链路回顾

### 第八章：推理（Inference）

- [第八章：推理（Inference）](https://daiw.org/manual/bit-to-agi/08-inference.md): 从 Bit 到 AGI 专栏 · 让训练好的模型真正跑起来 · 共 15 篇
- [KV Cache 是什么](https://daiw.org/manual/bit-to-agi/08-inference/what-is-kv-cache.md): 从 Bit 到 AGI · 第八章：推理（Inference） · KV Cache 显存怎么算
- [Paged Attention](https://daiw.org/manual/bit-to-agi/08-inference/paged-attention.md): 从 Bit 到 AGI · 第八章：推理（Inference） · 分页管理 KV Cache
- [Flash Attention](https://daiw.org/manual/bit-to-agi/08-inference/flash-attention.md): 从 Bit 到 AGI · 第八章：推理（Inference） · IO 感知的 Attention 内核
- [Continuous Batching](https://daiw.org/manual/bit-to-agi/08-inference/continuous-batching.md): 从 Bit 到 AGI · 第八章：推理（Inference） · 迭代级动态批处理
- [Tensor Parallel](https://daiw.org/manual/bit-to-agi/08-inference/tensor-parallel.md): 从 Bit 到 AGI · 第八章：推理（Inference） · 层内张量切分多卡
- [Pipeline Parallel](https://daiw.org/manual/bit-to-agi/08-inference/pipeline-parallel.md): 从 Bit 到 AGI · 第八章：推理（Inference） · 层间流水线多卡
- [Speculative Decoding](https://daiw.org/manual/bit-to-agi/08-inference/speculative-decoding.md): 从 Bit 到 AGI · 第八章：推理（Inference） · 草稿模型投机解码
- [Sampling 是什么](https://daiw.org/manual/bit-to-agi/08-inference/sampling.md): 从 Bit 到 AGI · 第八章：推理（Inference） · 从 logits 到下一个 token
- [Temperature](https://daiw.org/manual/bit-to-agi/08-inference/temperature.md): 从 Bit 到 AGI · 第八章：推理（Inference） · 温度参数如何缩放 logits
- [TopK](https://daiw.org/manual/bit-to-agi/08-inference/top-k.md): 从 Bit 到 AGI · 第八章：推理（Inference） · 只保留概率最高的 K 个 token
- [TopP](https://daiw.org/manual/bit-to-agi/08-inference/top-p.md): 从 Bit 到 AGI · 第八章：推理（Inference） · Nucleus 采样与累计概率
- [Prefix Caching](https://daiw.org/manual/bit-to-agi/08-inference/prefix-caching.md): 从 Bit 到 AGI · 第八章：推理（Inference） · 共享 prompt 前缀的 KV 复用
- [推理量化](https://daiw.org/manual/bit-to-agi/08-inference/quantization-inference.md): 从 Bit 到 AGI · 第八章：推理（Inference） · INT4/FP8 权重与 KV 量化
- [延迟与吞吐](https://daiw.org/manual/bit-to-agi/08-inference/latency-vs-throughput.md): 从 Bit 到 AGI · 第八章：推理（Inference） · ms/tok、TTFT 与 tok/s 怎么读
- [第八章总结](https://daiw.org/manual/bit-to-agi/08-inference/chapter-summary.md): 从 Bit 到 AGI · 推理（Inference）· 本章要点回顾

### 第九章：GPU

- [第九章：GPU](https://daiw.org/manual/bit-to-agi/09-gpu.md): 从 Bit 到 AGI 专栏 · 硬件与算力 · 共 10 篇
- [CUDA 是什么](https://daiw.org/manual/bit-to-agi/09-gpu/what-is-cuda.md): 用 C/C++ 在 GPU 上写并行程序的平台与编程模型
- [HBM 是什么](https://daiw.org/manual/bit-to-agi/09-gpu/what-is-hbm.md): 高带宽内存如何让 GPU 以 TB/s 级速度喂饱 Tensor Core
- [NVLink 是什么](https://daiw.org/manual/bit-to-agi/09-gpu/what-is-nvlink.md): GPU 之间的高速互联，多卡张量并行的物理基础
- [PCIe 是什么](https://daiw.org/manual/bit-to-agi/09-gpu/what-is-pcie.md): GPU 与 CPU/主机内存之间的互联，以及为何它常成为瓶颈
- [Warp 是什么](https://daiw.org/manual/bit-to-agi/09-gpu/what-is-warp.md): GPU 上 32 线程同步执行的基本调度单位
- [SM 是什么](https://daiw.org/manual/bit-to-agi/09-gpu/what-is-sm.md): Streaming Multiprocessor——GPU 上真正执行 CUDA 内核的计算单元
- [Tensor Core 与 TFLOPS](https://daiw.org/manual/bit-to-agi/09-gpu/tensor-core.md): 矩阵乘法专用硬件，以及 TFLOPS 峰值如何换算成真实 LLM 速度
- [为什么 GPU 这么快](https://daiw.org/manual/bit-to-agi/09-gpu/why-gpu-so-fast.md): 并行度、内存带宽与专用电路如何叠加成 LLM 训练推理的算力底座
- [为什么显存这么重要](https://daiw.org/manual/bit-to-agi/09-gpu/why-vram-matters.md): 7B 与 70B 模型在不同精度下占多少 GB，以及 KV Cache 如何吃掉剩余显存
- [第九章总结](https://daiw.org/manual/bit-to-agi/09-gpu/chapter-summary.md): GPU 硬件概念串联：从 CUDA 到显存容量规划

### 第十章：自己训练一个模型

- [第十章：自己训练一个模型](https://daiw.org/manual/bit-to-agi/10-train-your-llm.md): 从 Bit 到 AGI 专栏 · 端到端实战 · 共 20 篇
- [收集数据](https://daiw.org/manual/bit-to-agi/10-train-your-llm/collect-data.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 收集数据
- [清洗数据](https://daiw.org/manual/bit-to-agi/10-train-your-llm/clean-data.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 清洗数据
- [训练 Tokenizer](https://daiw.org/manual/bit-to-agi/10-train-your-llm/build-tokenizer.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 训练 Tokenizer
- [预训练模型](https://daiw.org/manual/bit-to-agi/10-train-your-llm/pretrain-model.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 预训练模型
- [验证模型](https://daiw.org/manual/bit-to-agi/10-train-your-llm/validate-model.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 验证模型
- [保存 Checkpoint](https://daiw.org/manual/bit-to-agi/10-train-your-llm/save-checkpoint.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 保存 Checkpoint
- [跑推理](https://daiw.org/manual/bit-to-agi/10-train-your-llm/run-inference.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 跑推理
- [部署模型](https://daiw.org/manual/bit-to-agi/10-train-your-llm/deploy-model.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 部署模型
- [OpenAI API 兼容](https://daiw.org/manual/bit-to-agi/10-train-your-llm/openai-api-compat.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · OpenAI API 兼容
- [MCP 集成](https://daiw.org/manual/bit-to-agi/10-train-your-llm/mcp-integration.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · MCP 集成
- [选择基座模型](https://daiw.org/manual/bit-to-agi/10-train-your-llm/pick-base-model.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 选择基座模型
- [微调 SFT](https://daiw.org/manual/bit-to-agi/10-train-your-llm/fine-tune-sft.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 微调 SFT
- [跑 Benchmark](https://daiw.org/manual/bit-to-agi/10-train-your-llm/evaluate-benchmarks.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 跑 Benchmark
- [监控训练](https://daiw.org/manual/bit-to-agi/10-train-your-llm/monitor-training.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 监控训练
- [从失败中恢复](https://daiw.org/manual/bit-to-agi/10-train-your-llm/recover-from-failure.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 从失败中恢复
- [数据集格式](https://daiw.org/manual/bit-to-agi/10-train-your-llm/dataset-format.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 数据集格式
- [硬件规划](https://daiw.org/manual/bit-to-agi/10-train-your-llm/hardware-planning.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 硬件规划
- [成本估算](https://daiw.org/manual/bit-to-agi/10-train-your-llm/cost-estimation.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 成本估算
- [发布你的模型](https://daiw.org/manual/bit-to-agi/10-train-your-llm/publish-your-model.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 发布你的模型
- [第十章总结](https://daiw.org/manual/bit-to-agi/10-train-your-llm/chapter-summary.md): 从 Bit 到 AGI · 第十章：自己训练一个模型 · 本章总结

### 第十一章：工程化（Serving）

- [第十一章：工程化（Serving）](https://daiw.org/manual/bit-to-agi/11-engineering.md): 从 Bit 到 AGI 专栏 · 生产级 LLM 部署 · 共 15 篇
- [vLLM](https://daiw.org/manual/bit-to-agi/11-engineering/vllm.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · 高吞吐 LLM 推理引擎 vLLM
- [SGLang](https://daiw.org/manual/bit-to-agi/11-engineering/sglang.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · 结构化生成与高 prefix 复用的 SGLang
- [TensorRT-LLM](https://daiw.org/manual/bit-to-agi/11-engineering/tensorrt-llm.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · NVIDIA 编译级 LLM 推理 TensorRT-LLM
- [DeepSpeed](https://daiw.org/manual/bit-to-agi/11-engineering/deepspeed.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · 训练与推理一体的 DeepSpeed
- [Megatron](https://daiw.org/manual/bit-to-agi/11-engineering/megatron.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · 超大规模并行的 Megatron-LM
- [Ray](https://daiw.org/manual/bit-to-agi/11-engineering/ray.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · 分布式 serving 框架 Ray Serve
- [Kubernetes](https://daiw.org/manual/bit-to-agi/11-engineering/kubernetes.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · LLM 服务的 Kubernetes 部署
- [LiteLLM](https://daiw.org/manual/bit-to-agi/11-engineering/litellm.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · 统一百种 LLM API 的 LiteLLM
- [Gateway](https://daiw.org/manual/bit-to-agi/11-engineering/gateway.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · LLM API 网关与流量治理
- [可观测性](https://daiw.org/manual/bit-to-agi/11-engineering/observability.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · LLM 服务的指标、追踪与日志
- [自动扩缩容](https://daiw.org/manual/bit-to-agi/11-engineering/autoscaling.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · LLM 推理的 HPA 与 GPU 弹性
- [模型注册表](https://daiw.org/manual/bit-to-agi/11-engineering/model-registry.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · 模型版本、权重与元数据管理
- [A/B 测试](https://daiw.org/manual/bit-to-agi/11-engineering/ab-testing.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · LLM 模型与策略的在线实验
- [成本治理](https://daiw.org/manual/bit-to-agi/11-engineering/cost-governance.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · Token 预算、分摊与 FinOps
- [第十一章总结](https://daiw.org/manual/bit-to-agi/11-engineering/chapter-summary.md): 从 Bit 到 AGI · 第十一章：工程化（Serving） · 生产部署全景回顾

### 第十二章：未来（AGI）

- [第十二章：未来（AGI）](https://daiw.org/manual/bit-to-agi/12-future.md): 从 Chatbot 到 Agent、具身智能与世界模型——通向 AGI 的技术拼图与能力边界。
- [Agent 是什么](https://daiw.org/manual/bit-to-agi/12-future/what-is-agent.md): 从 Bit 到 AGI · 第十二章 · LLM 加循环：规划、行动、观察，以及为何仍远非自主智能体
- [Memory](https://daiw.org/manual/bit-to-agi/12-future/memory.md): 从 Bit 到 AGI · 第十二章 · 上下文、RAG 与长期记忆——Agent 能记住多少、忘得有多快
- [Tool](https://daiw.org/manual/bit-to-agi/12-future/tool-use.md): 从 Bit 到 AGI · 第十二章 · 函数调用与 API 封装——让 LLM 触碰外部世界的接口层
- [MCP](https://daiw.org/manual/bit-to-agi/12-future/mcp-future.md): 从 Bit 到 AGI · 第十二章 · Model Context Protocol——工具与数据源的 USB-C，以及生态现状
- [Computer Use](https://daiw.org/manual/bit-to-agi/12-future/computer-use.md): 从 Bit 到 AGI · 第十二章 · 看屏幕、点鼠标——GUI Agent 的感知-动作链与可靠性天花板
- [Robotics](https://daiw.org/manual/bit-to-agi/12-future/robotics.md): 从 Bit 到 AGI · 第十二章 · 从 LLM 到机械臂——具身智能的 sim-to-real 鸿沟与毫秒级控制
- [World Model](https://daiw.org/manual/bit-to-agi/12-future/world-model.md): 从 Bit 到 AGI · 第十二章 · 学习模拟器——视频预测、latent 规划与「真懂物理吗」的检验
- [AGI 路线图](https://daiw.org/manual/bit-to-agi/12-future/agi-roadmap.md): 从 Bit 到 AGI · 第十二章 · 缩放、Agent、多模态与具身——拼图如何拼，以及 2026 仍缺什么
- [安全与对齐](https://daiw.org/manual/bit-to-agi/12-future/safety-and-alignment.md): 从 Bit 到 AGI · 第十二章 · RLHF、越狱与能力-安全权衡——对齐做到哪了、做不到什么
- [第十二章总结](https://daiw.org/manual/bit-to-agi/12-future/chapter-summary.md): 从 Bit 到 AGI · 第十二章 · Agent 栈、能力边界与通向 AGI 的诚实结论
- [AI术语大全](https://daiw.org/manual/bit-to-agi/ai-glossary.md): 从 Bit 到 AGI · 全书术语总索引——按章节归类，链到对应详解文章