第二章总结

第一章把世界读成 Bit 与浮点数组；第二章把这些数组放进可计算的数学框架。本篇串联向量→矩阵→GEMM→梯度→概率→点积→Softmax 的知识链，给出「读代码 / 读论文时该想起什么公式」的速查表，并指向第三章：信息论。

我们学了什么

图表加载中…

核心公式速查

主题	公式	代码里常见
向量存储	$n \times \text{bytes}$	`tensor.numel() * element_size`
矩阵乘 FLOPs	$2mnk$	`@`, `matmul`, cuBLAS
梯度	$\nabla f = (\partial f/\partial x_i)$	`loss.backward()`
SGD	$\theta \leftarrow \theta - \eta \nabla \mathcal{L}$	`optimizer.step()`
链式法则	$\frac{dy}{dx} = \frac{dy}{dg}\frac{dg}{dx}$	autograd 计算图
点积	$\mathbf{a}^\top\mathbf{b} = \sum a_i b_i$	`a @ b`
L2 范数	$\\|\mathbf{x}\\|_2 = \sqrt{\mathbf{x}^\top\mathbf{x}}$	`torch.norm(g, 2)`
Softmax	$p_i = e^{z_i}/\sum e^{z_j}$	`F.softmax(logits, -1)`
Cross-Entropy	$-\log p_k$	`F.cross_entropy(logits, y)`
贝叶斯	$P(\theta \mid \mathcal{D}) \propto P(\mathcal{D} \mid \theta)P(\theta)$	weight decay

量化心智模型

读 LLM 配置时，用本章数字快速估算：

问题	心算方法
一个 hidden 向量占多少显存？	$d \times 2$ 字节（bf16）
线性层参数量？	$d_{in} \times d_{out}$
Attention 算力随 context 怎么变？	$\propto L^2$
反向比前向贵多少？	FLOPs ≈ 2×
词表输出层多大？	$V \times d$ 参数
PPL 30 意味着什么？	$\exp(\text{CE}) = 30$ ，平均相当于 30 选 1

7B 模型 bf16 权重： $7 \times 10^9 \times 2 \approx 14$ GiB。梯度 + optimizer states（Adam 再 ×2–3）→ 训练显存远超推理。

章节文章索引

向量是什么 — $\mathbb{R}^n$ ，embedding 的基本单位
矩阵是什么 — batch 与权重的容器
为什么矩阵乘法这么重要 — GEMM 占 >90% 算力
梯度是什么 — 最陡上升方向，训练用负梯度
导数为什么可以学习 — 局部线性近似
偏导数是什么 — 每个参数一个偏导
链式法则是什么 — 反向传播数学基础
为什么损失函数可以下降 — 泰勒一阶 + 学习率
概率是什么 — LLM 输出分布
贝叶斯是什么 — 先验、MAP、weight decay
点积是什么 — attention 得分
范数与距离 — 裁剪、检索、正则
特征值的直觉 — 稳定性与初始化
Softmax 与 Logits — 输出层与 CE loss

与后续章节的衔接

本章概念	后续用到
概率、 $-\log p$	第三章：熵、交叉熵、KL 散度
向量、点积	第四章：神经元、MLP
矩阵、Softmax	第五章：Self-Attention、Transformer
梯度、链式法则	第七章：预训练、优化器、学习率 schedule
GEMM FLOPs	第八章–第九章：推理与 GPU

动手复盘

用 5 分钟跑通「最小训练环」，巩固本章概念：

import torch
import torch.nn.functional as F

# 数据：10 类，输入 784 维
X = torch.randn(32, 784)
y = torch.randint(0, 10, (32,))

# 一层线性 = 矩阵乘 + logits
W = torch.randn(10, 784, requires_grad=True)
logits = X @ W.T                    # GEMM
loss = F.cross_entropy(logits, y)   # log-softmax + CE

loss.backward()                     # 链式法则 → 梯度
print(W.grad.shape)                 # (10, 784) 与 W 同形
print(f"loss={loss.item():.3f}, grad_norm={W.grad.norm():.2f}")

学习路径建议

若时间有限，按依赖顺序精读：

必读（打地基）：向量 → 矩阵 → GEMM → 梯度 → 链式法则 → Softmax
训练必读：偏导 → loss 下降 → 概率 / CE
进阶直觉：点积（attention）→ 范数（clip）→ 特征值（稳定）→ 贝叶斯（正则）

每篇的 Python 片段建议本地跑一遍；改数字观察 gradient、loss、softmax 输出变化——比死记公式有效。

自测清单

读完本章，你应能口头回答：

$d=4096$ 、bf16 的一个向量占多少 KiB？
线性层 $(768 \to 3072)$ 多少参数？
loss.backward() 后 W.grad 的 shape？
为什么 attention 算力 $\propto L^2$ ？
CE = 2.3 对应正确类概率多少？
为什么 F.cross_entropy 要 logits 不要 softmax 后的 $p$ ？

若有任一卡住，回到对应篇章复习。

与代码库的映射（本仓库）

本专栏站点 daiw 后续章节实现 Transformer、训练脚本时，本章公式会反复出现：site-config 不管数学，但 content/manual/bit-to-agi/ 各章 MDX 即你的「公式索引」。读 PyTorch 源码或 HuggingFace modeling_*.py 时，对照本章 shape 表逐行 trace。

术语对照（中英）

中文	英文	本章篇章
向量	vector	what-is-a-vector
矩阵	matrix	what-is-a-matrix
梯度	gradient	what-is-gradient
偏导数	partial derivative	what-is-partial-derivative
链式法则	chain rule	chain-rule
点积	dot product	dot-product
特征值	eigenvalue	eigenvalues-intuition
对数几率	logit	softmax-and-logits