从 Bit 到 AGI第七章：训练（Training）
第七章：训练（Training）
从 Bit 到 AGI 专栏 · 从预训练到对齐 · 共 20 篇
作者 David更新于
大语言模型不是「写代码写出来的」，而是用海量数据、大量 GPU 时间算出来的。本章从预训练讲起，一路走到 SFT、RLHF、DPO、GRPO，再到 LoRA、MoE、蒸馏等工程技巧，最后谈对齐与评估。
读完本章，你会能用** token 数**和 GPU·小时估算一次训练要花多少钱、多久。
从 Bit 到 AGI 专栏 · 从预训练到对齐 · 共 20 篇
大语言模型不是「写代码写出来的」，而是用海量数据、大量 GPU 时间算出来的。本章从预训练讲起，一路走到 SFT、RLHF、DPO、GRPO，再到 LoRA、MoE、蒸馏等工程技巧，最后谈对齐与评估。
读完本章，你会能用** token 数**和 GPU·小时估算一次训练要花多少钱、多久。