第三章：信息（Information）

这里开始进入 AI：什么是信息、熵、压缩与统计规律，以及 GPT 为何能预测下一个 Token。本章用数字和公式把「训练 loss」和「香农信息论」钉在同一坐标系里——不要求信息论背景，只要读过第一、二章的比特与概率直觉。

读完本章，请参阅本章总结。

本章目录

• 什么是信息
• 信息熵是什么
• 为什么压缩就是去除信息冗余
• 为什么语言具有统计规律
• 为什么 GPT 可以预测下一个 Token
• 互信息是什么
• 交叉熵是什么
• KL 散度是什么
• 预测即压缩