本模块产出物：
· 讲义式 PPT：
· 精选电子书书单：
· 原始素材留痕：
· 讲义式 PPT：
Multimodal-讲义.pptx（主力成品，116 页，✅ 已完成，2026-07-10 增第 8 章语音与实时交互）· 精选电子书书单：
电子书书单.md（13 项，偏实践）· 原始素材留痕：
raw-data/（含 2026-07-09 与 2026-07-10 联网核实笔记，时效性事实以此为准）
章节列表与状态
| # | 章节 | 要点 | 状态 |
|---|---|---|---|
| 1 | 是什么 / 为什么 | 定义、为何爆发（三拐点）、感知面全景（理解 vs 生成）、该不该上、与 OCR/ASR 区别、上云地图 | ✅ 已完成 |
| 2 | 机器怎么「看」 | 图→token 核心难题、ViT 五步 patch 化、CLIP 图文对比对齐、视觉编码器选型与分辨率↔成本 | ✅ 已完成 |
| 3 | 模态怎么「拼」（灵魂章） | 投影层/交叉注意力/Q-Former 三路线、早 vs 晚融合、原生多模态 vs 拼管线、三问决策 | ✅ 已完成 |
| 4 | 理解侧能力盘点 | 图像/文档(OCR-free)/视频/语音理解、2026 模型格局（闭源旗舰 + 开源 VLM，MMMU/OCRBench）、能力边界 | ✅ 已完成 |
| 5 | 生成侧能力盘点 | 扩散 vs 自回归、原生图像（GPT Image 2 / Nano Banana 2）、文生视频、TTS 与实时语音、any-to-any、四个坑 | ✅ 已完成 |
| 6 | 选型与动手做 | 成本/延迟/精度三角、真实调用（URL vs base64）、图像 token 成本账、延迟优化、托管 API vs 自建 vLLM | ✅ 已完成 |
| 7 | 生产落地与坑 | 成本膨胀、失效模式（幻觉/空间/计数）、多模态评估、跨模态提示注入、上线 checklist | ✅ 已完成 |
| 8 | 语音与实时交互 | 延迟预算（300–500ms 空隙 / P50<1.5s / 标杆<800ms）、级联 vs 端到端、全双工与打断、WebRTC 与 Pipecat/LiveKit、成本账、上云对照 | ✅ 已完成 |
| 9 | 视频生成 | Seedance 2.0/Sora 2/可灵 3.0/Veo 3.1 四家旗舰格局、时长/一致性/可控性三大难、按秒计价成本账（价差 34 倍）、生成→审核→标识→分发工作流与合规红线（2026-07-17 口径） | ✅ 已完成 |
| 10 | 售前速查 | 术语中英对照、选型决策树、高频客户问题汇总、跨模块串联地图 | ✅ 已完成 |
串联：多模态位于「应用模式层」，与 RAG、Agent 同层。本模块讲义已内置「跨模块串联地图」页（第 9 章）与多处承接页。已在讲义中建立的关联：
- 最强串联 — RAG 第 11 章「多模态 RAG」（
mm-understanding/mm-fusion ↔ rag#rag-multimodal）：本模块讲「模型的多模态能力」，RAG 那章讲「多模态内容怎么检索」，互为上下游。 - Agent：多模态感知让 Agent「能看屏幕 / 图表」，是 computer use 的前提（
mm-what-why → agent）。 - LLM 原理：ViT 与 Transformer 同源、注意力机制复用，视觉编码器就是 Transformer 用在图像 patch 上（
mm-encoder → llm）。 - Evaluation / Security：评估接 MMMU/OCRBench 等基准（
mm-production → evaluation）；跨模态提示注入接提示注入防护（mm-production → security）。 - LLM-Inference：语音链路延迟大头 = LLM 首 token，优化机制在那边展开（
mm-voice-realtime → llm-inference）。
可增补方向：多模态 RAG 深潜（与 RAG 模块合璧）、Agent + 视觉（computer use / GUI agent）、多模态微调（视觉指令微调，与 Fine-tuning 模块合璧）、3D / 具身多模态——将来任意加一章，沿用本模块每章结构即可。（语音实时交互已于 2026-07-10 落地为第 8 章。）