基础层 · Foundation Layer

LLM 原理

大模型的发动机舱:Transformer 架构与注意力机制(Attention)——模型凭什么理解上下文、凭什么能并行训练,上下文窗口、推理成本与各家价格差又是从哪来的。面向售前技术,讲清原理与取舍,是上层 RAG、Agent、MCP 模块共同的地基。

本模块产出物:
· 讲义式 PPT:LLM-讲义.pptx(主力成品,91 页,✅ 已完成)
· 精选电子书书单:电子书书单.md(10 项,偏实践,含阅读建议)✅
· 原始素材留痕:raw-data/(含 2026-07-08 联网核实笔记,时效性事实以此为准)

章节列表与状态

#章节要点状态
1从序列问题到 Transformer长距离依赖、RNN 传声筒三宗罪、2017 分水岭、圆桌会议总览、RNN vs Transformer 对比表✅ 已完成
2注意力机制:QKV 拆解图书馆检索类比、三步计算逐页拆(点积→缩放 softmax→加权求和)、3 token 手算、因果掩码、多头会诊、承上启下·与 Multimodal(ViT 就是注意力吃图像)✅ 已完成(2026-07-10 加 Multimodal 串联页)
3Transformer 全解剖Embedding 语义 GPS、RoPE、FFN 知识仓库(参数大头)、残差高速公路、decoder-only 三理由、MoE、7B 参数账✅ 已完成
4从架构到推理:上下文窗口与 KV 缓存prefill/decode、KV 显存账(32K 缓存>权重)、O(n²)、标称 1M vs 有效 200K、与 RAG/Agent 承上启下、云落地✅ 已完成
5注意力的工程进化三条战线(压 KV/减计算/榨硬件)、GQA/MLA/滑窗/DSA 稀疏/线性混合/FlashAttention 1→4、变体总表、价格差拆解✅ 已完成
6售前视角收拢客户问题→架构解释速查表、「要被取代了吗」三段答法、选型七问、知识库串联图、白板综合演练✅ 已完成
串联:本模块讲义已加「与 Prompt Engineering 的关系」页(↔ pe#pe-anatomy / pe-advanced-reasoning,提示词工程的架构基础)。 本模块是基础层,向上支撑两条已建实链——第 4 章「与 RAG 的关系」页给出「1M 窗口不是 RAG 终结者」的架构论据(↔ RAG 第 1 章);「与 Agent 的关系」页解释上下文工程的架构根源(↔ Agent 第 5 章)。新增(2026-07-10,双向):第 2 章「承上启下 · 与 Multimodal」页——ViT 就是注意力吃图像(patch 即 token、QKV 原样复用、O(n²) 同样成立),↔ Multimodal 模块第 2 章(multimodal#mm-encoder)。同层的 LLM-Training 模块与本模块互为前置——那边讲「发动机怎么造」(训练流水线),本模块讲「发动机怎么转」(架构与推理);本模块第 3 章的 MoE/参数账 ↔ 其第 3 章预训练(Scaling Laws、MoE 训练),串联已双向落账(2026-07-08)。