LLM-Training · 模块索引

本模块产出物：
· 讲义式 PPT：LLM-Training-讲义.pptx（主力成品，85 页，✅ 已完成）
· 精选电子书书单：电子书书单.md（10 项，偏实践）✅
· 原始素材留痕：raw-data/（含 2026-07-08 联网核实笔记，时效性事实以此为准）

章节列表与状态

#	章节	要点	状态
1	全景总览：从随机权重到可用助手	六道工序一张地图、「培养一名医生」类比、base/instruct/reasoning 三形态、训练 vs 推理两笔账	✅ 已完成
2	数据：模型的粮食	语料来源与量级、清洗去重（FineWeb）、分词 BPE 与中文 token 溢价、数据墙与合成数据	✅ 已完成
3	预训练：压缩互联网	下一词预测与幻觉根源、Scaling Laws 三代、MoE 主流化、FP8/Muon 降本组合拳、DeepSeek-V3 账本	✅ 已完成
4	后训练 I · SFT：教会听话	示范教学与对话模板、LIMA 质量>数量、蒸馏造数据、微调 vs RAG 决策树、LoRA 与托管微调	✅ 已完成
5	后训练 II · 对齐：教会分寸	3H 与 InstructGPT、奖励模型与 Reward Hacking、RLHF/PPO 到 DPO、对齐税与误拒平衡	✅ 已完成
6	后训练 III · RLVR 与推理模型：教会思考	思维链与推理时扩展、RLVR 可验证奖励、GRPO、R1 涌现实验、蒸馏与路由分流选型	✅ 已完成
7	训练基础设施与算力账	16 字节/参数显存账、四种并行（DP/TP/PP/EP）、6ND 成本心算、集群三大件与自建 vs 租云	✅ 已完成
8	评估与发布：怎么知道练成了	评估三层体系、污染与刷榜、模型卡五盯点、企业自建评估集配方	✅ 已完成

串联：与 LLM 原理模块互为前置——那边讲架构（发动机舱），本模块讲训练（流水线）；第 4 章「微调 vs RAG」与 RAG 模块第 1 章互为镜像；第 6 章推理模型是 Agent 模块「模型为什么能当大脑」的训练侧答案；第 8 章评估与 RAG 第 5 章、Agent 第 6 章共同构成三条评估线，待未来 Evaluation 模块收编。