本模块产出物：
· 讲义式 PPT：
· 精选电子书书单：
· 原始素材留痕：
· 讲义式 PPT：
LLM-Inference-讲义.pptx（主力成品，94 页，✅ 已完成）· 精选电子书书单：
电子书书单.md（10 项，偏实践）✅· 原始素材留痕：
raw-data/（含 2026-07-09 联网核实笔记、2026-07-12 对照库吸收笔记，时效性事实以 MANIFEST 为准）
章节列表与状态
| # | 章节 | 要点 | 状态 |
|---|---|---|---|
| 1 | 推理是怎么跑起来的 | 自回归生成、prefill（算力受限）/decode（带宽受限）两阶段、TTFT/TPOT/吞吐三指标、一次 API 调用的时间线 | ✅ 已完成 |
| 2 | KV Cache 与显存账 | 承接 LLM 原理第 4 章、KV 大小心算公式（70B 级 ~0.3MB/token）、显存账本三大块、并发天花板、长上下文为什么贵 | ✅ 已完成 |
| 3 | 把 GPU 喂饱：批处理与调度 | 批处理三代演进（Orca 连续批处理）、PagedAttention 分页管理、Prefix Caching/RadixAttention、chunked prefill 取舍 | ✅ 已完成 |
| 4 | 推理框架图鉴 | vLLM（默认之选）/SGLang（共享前缀）/TensorRT-LLM（NV 性能上限）/llama.cpp+Ollama（本地端）、选型决策树、云上三路线 | ✅ 已完成 |
| 5 | 让模型变小：量化 | 精度谱系 FP16→FP8→INT4/FP4、AWQ/GPTQ/GGUF、校准、质量损失账与评测门禁、什么时候别量化 | ✅ 已完成 |
| 6 | 让模型变快：投机解码与算法加速 | 起草-验证机制与无损性、EAGLE-3/MTP、接受率与收益边界、注意力侧加速回指、推理模型带来的新压力 | ✅ 已完成 |
| 7 | 集群级：P/D 分离与分布式推理 | 推理侧 TP/PP/EP、P/D 干扰与分离、Mooncake 生产案例、Dynamo/llm-d 生态格局、KV 分层存储 | ✅ 已完成 |
| 8 | 生产化与售前速查 | 按场景 SLO 参考表、压测方法与假数字识别、成本心算模板、自建 vs 托管三问、降本组合拳总表、全书速查页 | ✅ 已完成 |
串联：与 LLM 原理、LLM-Training 构成基础层「原理 → 训练 → 推理」三部曲——KV Cache 机制在 LLM 原理第 4 章、本模块第 2 章讲系统治理（讲义内有承上启下页）；第 6 章「推理模型让 token 暴涨」承接 LLM-Training 第 6 章 RLVR；第 3 章 Prefix Caching 与 Agent 模块上下文工程、RAG 固定语料互为受益关系；第 8 章压测/SLO 这条线与 RAG/Agent/LLM-Training 的评估章共同等待未来 Evaluation 模块收编。