本模块产出物:
· 讲义式 PPT:
· 精选电子书书单:
· 原始素材留痕:
· 讲义式 PPT:
LLM-讲义.pptx(主力成品,91 页,✅ 已完成)· 精选电子书书单:
电子书书单.md(10 项,偏实践,含阅读建议)✅· 原始素材留痕:
raw-data/(含 2026-07-08 联网核实笔记,时效性事实以此为准)
章节列表与状态
| # | 章节 | 要点 | 状态 |
|---|---|---|---|
| 1 | 从序列问题到 Transformer | 长距离依赖、RNN 传声筒三宗罪、2017 分水岭、圆桌会议总览、RNN vs Transformer 对比表 | ✅ 已完成 |
| 2 | 注意力机制:QKV 拆解 | 图书馆检索类比、三步计算逐页拆(点积→缩放 softmax→加权求和)、3 token 手算、因果掩码、多头会诊、承上启下·与 Multimodal(ViT 就是注意力吃图像) | ✅ 已完成(2026-07-10 加 Multimodal 串联页) |
| 3 | Transformer 全解剖 | Embedding 语义 GPS、RoPE、FFN 知识仓库(参数大头)、残差高速公路、decoder-only 三理由、MoE、7B 参数账 | ✅ 已完成 |
| 4 | 从架构到推理:上下文窗口与 KV 缓存 | prefill/decode、KV 显存账(32K 缓存>权重)、O(n²)、标称 1M vs 有效 200K、与 RAG/Agent 承上启下、云落地 | ✅ 已完成 |
| 5 | 注意力的工程进化 | 三条战线(压 KV/减计算/榨硬件)、GQA/MLA/滑窗/DSA 稀疏/线性混合/FlashAttention 1→4、变体总表、价格差拆解 | ✅ 已完成 |
| 6 | 售前视角收拢 | 客户问题→架构解释速查表、「要被取代了吗」三段答法、选型七问、知识库串联图、白板综合演练 | ✅ 已完成 |
串联:本模块讲义已加「与 Prompt Engineering 的关系」页(↔
pe#pe-anatomy / pe-advanced-reasoning,提示词工程的架构基础)。 本模块是基础层,向上支撑两条已建实链——第 4 章「与 RAG 的关系」页给出「1M 窗口不是 RAG 终结者」的架构论据(↔ RAG 第 1 章);「与 Agent 的关系」页解释上下文工程的架构根源(↔ Agent 第 5 章)。新增(2026-07-10,双向):第 2 章「承上启下 · 与 Multimodal」页——ViT 就是注意力吃图像(patch 即 token、QKV 原样复用、O(n²) 同样成立),↔ Multimodal 模块第 2 章(multimodal#mm-encoder)。同层的 LLM-Training 模块与本模块互为前置——那边讲「发动机怎么造」(训练流水线),本模块讲「发动机怎么转」(架构与推理);本模块第 3 章的 MoE/参数账 ↔ 其第 3 章预训练(Scaling Laws、MoE 训练),串联已双向落账(2026-07-08)。