第四章总结

从 Bit 到 AGI · 神经元、反向传播、CNN/RNN 到 Attention——第四章知识地图

第四章把「神经网络」从黑盒拆成可计算的图：神经元 + 激活 + 层叠 + 损失 + 梯度 + 优化。你不需要背架构名词，而要会估算 参数量、FLOPs、显存 与 训练不稳定 从哪来。

知识地图

图表加载中…

按主题回顾

主题	核心数字/结论	延伸阅读
激活	ReLU 缓解饱和；Sigmoid 易梯度消失	ReLU、Sigmoid
CNN	参数从 $HWC^2$ 降到 $k^2C$	CNN
RNN	长序列梯度 $\propto \gamma^T$ 衰减	RNN、LSTM
Attention	权重 $\sum \alpha_i = 1$ ，并行度 $O(n^2)$	为何出现
训练	反向传播 ≈ 链式法则自动求导	前向、反向
泛化	参数多 + 数据少 → 过拟合	正则

你应该能回答的问题

一层全连接 $d_{\text{in}} \to d_{\text{out}}$ 有多少参数？（ $d_{\text{in}} \times d_{\text{out}} + d_{\text{out}}$ ）
为什么 LLM 不用纯 CNN/RNN 收尾？（长程依赖与并行；见第五章）
Dropout 训练时随机的意义？（集成近似，防共适应）

与下一章的衔接

第四章的 Attention 是 第五章 Transformer 的直接前传。Transformer 把 Attention 当唯一「混合器」，去掉 RNN 的递归，换 $O(n^2)$ 并行注意力 + 位置编码。建议顺序阅读：Embedding → Self Attention → 块解剖。