Transformer & AttentionLLM，大模型原理

01从序列问题到 Transformer#llm-why-transformer

Transformer 之前的 RNN 像传声筒游戏：逐词读入、把一切压进固定大小的记忆向量——三宗罪：

2017 年《Attention Is All You Need》做了激进的减法：扔掉递归骨架，让注意力从配角变唯一主角——所有词两两直连，信息路径长度恒为 1（直达电梯，不是 12 页的接力）。

最值钱的副产品是全序列并行训练：可以疯狂堆数据堆算力，直接解锁了 GPT 路线。

总览像一场圆桌会议：每个词是一位与会者，发言前先环顾全场（注意力）——谁与我相关就多听谁的；然后回座位独立消化整理（前馈网络 FFN）。会要开 N 轮（N 层），每轮理解更深。代价写在最后一行：注意力是 O(n²)——大模型的成本、延迟、上下文限制，根子都在这，它是第 4、5 节全部工程故事的伏笔。一句话：Transformer 赢在可扩展——它让「变大」第一次变得既可行（并行）又有回报（scaling）。

02注意力：QKV 拆解#llm-attention-qkv

QKV 三件套用图书馆检索记

为什么要三个分身？「我在找什么」和「我能提供什么」是两回事——K ≠ V；三个矩阵都是训练出来的。

三步计算

因果掩码：生成式训练是「预测下一个词」，第 i 个词只许看位置 1…i——做完形填空不许偷看后文答案。妙处：一句 100 词 = 100 道练习题一次并行算完（训练效率的关键），也顺带解释了 GPT 写到一半不会回头修改。多头注意力像专家会诊：把向量空间切成 h 份各看一面（语法头盯主谓、指代头盯「它」指谁），拼接融合——头数不是越多越好（头数 × 每头维度 = 固定预算）。白板口诀：Q 问、K 答、V 给货，softmax 分预算。

顺带一条边界：多模态不是新架构——ViT 把图切成 16×16 的 patch，每块地位与词向量完全等同， QKV 原样复用，O(n²) 对图像同样成立（分辨率越高越贵）。深入见 Multimodal 模块。

03Transformer 全解剖#llm-architecture

MoE（Mixture of Experts）像三甲医院分诊台：1000 位专家在编（总参数），挂一次号只见 2 位相关科室的（激活参数）。DeepSeek-V3 总参 671B、每 token 只激活约 37B——2026 主流旗舰基本都是 MoE。看 MoE 要问两个数：总参数（存储账）和激活参数（计算账），两个都真、衡量的东西不同。「参数账」不等于「显存账」——推理时显存大头常是 KV 缓存，下一节。

04KV 缓存与上下文窗口#llm-inference-kv

生成是自回归循环：写 500 字 ≈ 完整跑 700 多次前向——流式输出不是产品特效，是模型本来的节奏；每个输出 token 都是一轮完整前向，这就是输出单价高于输入的架构原因。

两阶段像餐厅

TTFT 与 TPOT 分开谈。

窗口长度翻倍：prefill 计算 ×4、KV 显存 ×2。

标称 1M ≠ 有效 1M：四堵墙

2026 现状：托管商用模型 ≥1M 窗口已成旗舰标配（Gemini 3.1 Pro 官方页 1M、Llama 4 Scout 标称 10M；「13 家」这类跨站计数已删），但 RULER / MRCR v2 / NoLiMa 等基准显示多事实检索过 200K 普遍掉 30–60 分——塞得进 ≠ 记得住。

窗口是「训练出来的能力」，不是「配置出来的参数」

中间隔四堵墙：

最强拉长驱动是视频（高分辨率约 300 token/秒，1 小时 ≈ 108 万 token；默认低档约 100 token/秒）。主战场已从标称长度竞赛转向有效长度 × 单位 token 经济性 × 记忆分层。

这也是两条高频答辩的架构论据：「1M 窗口还要 RAG 吗」——要：全量塞入平方级烧钱、过 200K 有效性衰减、新鲜度与行级权限只能在检索层做（应用视角见 RAG 网页版）；上下文工程为什么非做不可——每多塞 1K token，所有后续轮次都为它付费（复利型成本），做法见 Agent 网页版。服务系统怎么管好这笔账（分页、前缀缓存、容量规划）在 LLM-Inference 网页版——互为前后篇。

长上下文现状核实 2026-07-08（视频 token 口径 07-20 补），来源长上下文基准汇总。

一次生成请求的状态机：「为什么答一半就停」

一次请求从收到 prompt 到吐完答案，走过三组状态——像一通客服电话，每种「挂断」的记法都不一样，事后排查全靠它：

客户问「为什么有时答一半就停」，按三种终态答——它们的责任方完全不同：长度上限是额度问题（要么输出上限设小了，要么输入太长把窗口吃掉、剩给输出的不够）；停止词命中是配置问题（停止序列配得太宽，正文里出现那个串就提前收尾）；报错是链路问题（超时、限流、上游异常，这一类根本没跑完）。所以工程上日志要记停止原因、参数与模型版本，否则每次都得重演一遍才知道是哪一种。

再往前一步是「同一个问题问两次，答案为什么不一样」：decode 每一步模型给出的不是唯一答案，是下一个词的概率分布，服务端按分布抽一个再接着往下写——采样参数调保守就贴着最高分走，放开就更发散。同问不同答是设计使然，不是故障；但反过来也别把「逐字一致」写进验收——固定 seed 也不能替代回归测试，生成有随机性，靠一次跑对不能证明版本没退化。

05注意力的工程进化#llm-attention-zoo

线性混合的格局一句话——钟摆在「效率」与「精度」之间来回，混合与稀疏是当前落点：MiniMax M1 押注线性 → M2 退回全注意力保精度 → M3（2026-06）改用 MSA 稀疏注意力重提效率；同一时间 Kimi 把线性混合（KDA 3:1）推上了 2.8T 的 K3 旗舰。「线性不进旗舰」这条旧结论已经翻篇，但「纯线性扛不住复杂推理」仍然成立——所以主流是混合，不是全线性。

价格差从哪来：注意力变体决定 KV 显存 → 决定单卡并发 → 决定每 token 摊薄成本； MoE 决定激活计算量；FA 与引擎决定硬件利用率。「DeepSeek 为什么便宜」三行拆完： MLA（KV ↓10×）+ MoE（激活 37B/总 671B）+ 自研推理工程——便宜是设计出来的，不是补贴出来的。看懂一家模型的注意力设计，就看懂了它的成本结构：架构表就是价目表的底稿（市场侧对照见 Model-Landscape 网页版）。

变体格局核实 2026-08-01（K3 的 KDA 混合、M3 的 MSA 稀疏另据 Kimi K3 模型卡与技术报告 arXiv 2607.24653、MiniMax 官方发布文与 arXiv 2606.13392），其余来源 Raschka 变体图解 / arXiv 2512.02556（DSA）等。不可外推边界：图解与论文给的是架构谱系，不含各变体在具体硬件上的实测收益；文中「KV 降到约 1/10」这类比例是同级对照下的量级，换模型规模与并发口径就会变。

06售前视角收拢#llm-presales-map

四类失败，四种控制：「模型答错了」不是一种病——知识缺口（上 RAG 与拒答）、推理失败（拆步骤加验证，换大模型只能治这类的一部分）、上下文失败（管预算与排序引用）、治理失败（授权隔离人工）。像医院分诊：没分诊就换大模型，相当于头疼直接吃止痛药。

「Transformer 要被 Mamba 取代了吗」三段式：①承认趋势——注意力确实在被稀疏化、线性化、混合化；②校准现状——混合已成主流实践（Jamba/Nemotron 交错、Qwen3.5 混线性层），但全注意力仍是精度基准，旗舰闭源没有一家公开弃用；③收回主动权——客户该关心的是效果、成本、生态三角，架构是手段不是采购目标。这个三段式适用于一切「X 要取代 Y」。

选型七问（把 8 张 H100 的采购变成一页算术题）：①上下文需求多长、有效窗口有第三方基准吗 ②目标并发多少（KV/token × 并发 × 长度 = 显存账）③候选是 MHA/GQA/MLA、引擎支持吗 ④是 MoE 吗、总参与激活各多少 ⑤GPU 代次与 kernel 匹配吗（FA-3 对 Hopper、FA-4 对 Blackwell）⑥请求里有多少可复用前缀、能吃到缓存折扣吗 ⑦任务是长文档归纳还是多轮复杂推理（决定敢不敢用线性混合）。

07现场高频追问#qa

只收会改变某个决定的问题——会改变技术方案、风险判断、验收方法、对客沟通或下一步行动。

每题标出它加入本题库的日期：2026-07-08 来自讲义首版对练页， 2026-07-13 来自四类失败与讲解验收增补，2026-07-23 是按客户交锋场景补的三题（账单与延迟归因 / 输出不稳定 / 答一半就停）。

08相关模块#related

同一个概念在库里只有一个主要归属，其余模块讲的是它的另一个层面。

09来源与核实#sources

本页时效性数字均经联网核实后写入，完整登记（事实 × 核实日期 × 信源）见本模块 MANIFEST。核实窗口 2026-07-08。原理层长青，格局层按季在变——引用变体采用与窗口数据前先核日期。