# 第三章：信息（Information）

> 从 Bit 到 AGI 专栏 · 信息论与语言模型 · 共 10 篇

- 作者：David（道雾轩）
- 专栏：从 Bit 到 AGI（https://daiw.org/manual/bit-to-agi.md）
- 最后更新：2026-07-09
- 原文：https://daiw.org/manual/bit-to-agi/03-information
- 转载与引用：请注明出处并附原文链接（https://daiw.org/about/copyright）

这里开始进入 AI：什么是信息、熵、压缩与统计规律，以及 GPT 为何能预测下一个 Token。本章用**数字和公式**把「训练 loss」和「香农信息论」钉在同一坐标系里——不要求信息论背景，只要读过第一、二章的比特与概率直觉。

读完本章，请参阅[本章总结](https://daiw.org/manual/bit-to-agi/03-information/chapter-summary)。

## 本章目录

- [什么是信息](https://daiw.org/manual/bit-to-agi/03-information/what-is-information)
- [信息熵是什么](https://daiw.org/manual/bit-to-agi/03-information/what-is-entropy)
- [为什么压缩就是去除信息冗余](https://daiw.org/manual/bit-to-agi/03-information/compression-removes-redundancy)
- [为什么语言具有统计规律](https://daiw.org/manual/bit-to-agi/03-information/language-has-statistics)
- [为什么 GPT 可以预测下一个 Token](https://daiw.org/manual/bit-to-agi/03-information/why-gpt-predicts-next-token)
- [互信息是什么](https://daiw.org/manual/bit-to-agi/03-information/mutual-information)
- [交叉熵是什么](https://daiw.org/manual/bit-to-agi/03-information/cross-entropy)
- [KL 散度是什么](https://daiw.org/manual/bit-to-agi/03-information/kl-divergence)
- [预测即压缩](https://daiw.org/manual/bit-to-agi/03-information/prediction-is-compression)