第三章总结

本章从「什么是信息」出发，走到「预测即压缩」，把 GPT 预训练目标钉在信息论的坐标系里。读完应能回答：比特、熵、交叉熵、KL、困惑度、下一个 Token 预测之间是什么关系，以及各自的数量级。

核心概念一张图

图表加载中…

概念	公式	单位
自信息	$I(x) = -\log_2 p(x)$	bit
熵	$H(X) = -\sum p \log_2 p$	bit
条件熵	$H(X \mid Y) = H(X,Y) - H(Y)$	bit
互信息	$I(X;Y) = H(X) - H(X \mid Y)$	bit
交叉熵	$H(p,q) = -\sum p \log_2 q$	bit
KL 散度	$D_{\mathrm{KL}}(p\\|q) = H(p,q) - H(p)$	bit
困惑度	$\mathrm{PPL} = 2^{H(p,q)}$	无量纲
GPT 损失	$\mathcal{L} = -\frac{1}{T}\sum \log q_\theta(x_t \mid x_{<t})$	bit/Token

信息论回答了「学什么」：拟合语料的条件概率，最小化交叉熵。还没回答「用什么算」——矩阵、梯度、激活函数、反向传播。第四章神经网络起，把 $q_\theta(x_t \mid x_{<t})$ 具体化成数十亿参数的 Transformer 权重。

复习建议：用本章 Python 片段算 3 个分布的 $H$ 、 $H(p,q)$ 、 $D_{\mathrm{KL}}$ ，再对照 GPT 日志里的 loss 与 PPL。手算一次，比背公式记得牢。