从 Bit 到 AGI第五章：Transformer
第五章：Transformer
从 Bit 到 AGI 专栏 · 统一世界的架构 · 共 20 篇
作者 David更新于
2017 年 Google 论文 Attention Is All You Need 提出的 Transformer，用「全连接的自注意力」替代 RNN 的逐步递推，成为今天几乎所有大语言模型的骨架。本章从 Embedding 到 Scaling Laws，用 BERT-base 的常用尺寸（，12 层，12 头）贯穿每一篇，让你能对着公式读出参数量与 FLOPs。
读完本章，你将能拆解任意 Transformer 块的内部结构，并理解为什么 GPT、BERT、T5 只是同一套积木的不同搭法。
本章目录
- Embedding 是什么
- Position Encoding
- Self Attention
- Q、K、V 是什么
- Residual 连接
- LayerNorm
- Feed Forward 层
- Multi Head Attention
- Decoder 是什么
- Encoder 是什么
- Encoder-Decoder 架构
- 为什么 Transformer 统一世界
- Attention 的复杂度
- 位置编码的变体
- Pre-Norm 与 Post-Norm
- BERT 与 GPT 的区别
- 缩放定律入门
- 从 RNN 到 Transformer
- Transformer 块的解剖
建议阅读顺序：按目录自上而下；若你已熟悉 RNN 瓶颈，可先读从 RNN 到 Transformer再回头补 Embedding。
下一篇：Embedding 是什么