# 第五章：Transformer

> 从 Bit 到 AGI 专栏 · 统一世界的架构 · 共 20 篇

- 作者：David（道雾轩）
- 专栏：从 Bit 到 AGI（https://daiw.org/manual/bit-to-agi.md）
- 最后更新：2026-07-09
- 原文：https://daiw.org/manual/bit-to-agi/05-transformer
- 转载与引用：请注明出处并附原文链接（https://daiw.org/about/copyright）

2017 年 Google 论文 *Attention Is All You Need* 提出的 Transformer，用「全连接的自注意力」替代 RNN 的逐步递推，成为今天几乎所有大语言模型的骨架。本章从 Embedding 到 Scaling Laws，用 BERT-base 的常用尺寸（$d_{\text{model}}=768$，12 层，12 头）贯穿每一篇，让你能对着公式读出参数量与 FLOPs。

读完本章，你将能拆解任意 Transformer 块的内部结构，并理解为什么 GPT、BERT、T5 只是同一套积木的不同搭法。

## 本章目录

- [Embedding 是什么](https://daiw.org/manual/bit-to-agi/05-transformer/what-is-embedding)
- [Position Encoding](https://daiw.org/manual/bit-to-agi/05-transformer/position-encoding)
- [Self Attention](https://daiw.org/manual/bit-to-agi/05-transformer/self-attention)
- [Q、K、V 是什么](https://daiw.org/manual/bit-to-agi/05-transformer/qkv)
- [Residual 连接](https://daiw.org/manual/bit-to-agi/05-transformer/residual-connection)
- [LayerNorm](https://daiw.org/manual/bit-to-agi/05-transformer/layer-norm)
- [Feed Forward 层](https://daiw.org/manual/bit-to-agi/05-transformer/feed-forward)
- [Multi Head Attention](https://daiw.org/manual/bit-to-agi/05-transformer/multi-head-attention)
- [Decoder 是什么](https://daiw.org/manual/bit-to-agi/05-transformer/decoder)
- [Encoder 是什么](https://daiw.org/manual/bit-to-agi/05-transformer/encoder)
- [Encoder-Decoder 架构](https://daiw.org/manual/bit-to-agi/05-transformer/encoder-decoder)
- [为什么 Transformer 统一世界](https://daiw.org/manual/bit-to-agi/05-transformer/why-transformer-unifies)
- [Attention 的复杂度](https://daiw.org/manual/bit-to-agi/05-transformer/attention-complexity)
- [位置编码的变体](https://daiw.org/manual/bit-to-agi/05-transformer/positional-encoding-variants)
- [Pre-Norm 与 Post-Norm](https://daiw.org/manual/bit-to-agi/05-transformer/pre-norm-vs-post-norm)
- [BERT 与 GPT 的区别](https://daiw.org/manual/bit-to-agi/05-transformer/bert-vs-gpt)
- [缩放定律入门](https://daiw.org/manual/bit-to-agi/05-transformer/scaling-laws-intro)
- [从 RNN 到 Transformer](https://daiw.org/manual/bit-to-agi/05-transformer/from-rnn-to-transformer)
- [Transformer 块的解剖](https://daiw.org/manual/bit-to-agi/05-transformer/transformer-block-anatomy)

---

**建议阅读顺序**：按目录自上而下；若你已熟悉 RNN 瓶颈，可先读[从 RNN 到 Transformer](https://daiw.org/manual/bit-to-agi/05-transformer/from-rnn-to-transformer)再回头补 Embedding。

下一篇：[Embedding 是什么](https://daiw.org/manual/bit-to-agi/05-transformer/what-is-embedding)