LLM Inference推理服务

01推理是怎么跑起来的#llminf-anatomy

自回归：为什么一个字一个字往外蹦

模型每次只做一件事：看着前面所有 token 预测下一个，接到末尾再预测下一个。生成 500 字 ≈ 串行跑 500 次前向计算，后一步依赖前一步，天然无法并行。流式输出（Streaming）不是产品设计，是把真实生成过程直接播给你看。训练可以整段并行、推理只能逐 token 串行——这条不对称是推理成为独立工程领域的根源。

两个阶段，性格相反

带宽墙：decode 慢在哪

decode 每生成一个 token，理论上要把全部权重读一遍。算一遍就明白瓶颈在哪：

「每 token 搬全量权重」是单请求的理想化上界，实际有缓存与批处理摊薄，数量级判断成立。

三个仪表盘与一条时间线

谈体验先问 TTFT / TPOT，谈成本用吞吐，不要只问「一条请求几秒」。

02KV Cache 与显存账#llminf-kv-budget

心算公式

每 token 的 KV 字节数 = 2（K 和 V）× 层数 × KV 头数 × 每头维度 × 精度字节。以 Llama-3-70B 为例：

注意力架构直接改写成本表

长上下文为什么贵：两头吃钱

Prefill 端计算平方级涨：输入 4K → 128K（32 倍），注意力计算量涨约 1000 倍， TTFT 从零点几秒到几十秒，还独占算力挤压别的请求。Decode 端显存与带宽线性涨： 128K 的 KV ≈ 41GB，不仅占座、每生成一字还扫一遍。「把整本手册塞进上下文」每次提问为 10 万 token 付钱；「RAG 检索相关三页」每次只带几千 token——能检索就别硬塞，这正是「1M 窗口不是 RAG 终结者」的推理侧论据。

窗口是容量，命中是复用

上下文窗口是「一次能装多少」的能力上限，像信用卡额度——额度高不等于每次刷满；缓存命中是「装进去的东西要不要重算」的运行时效率。命中率由 prompt 结构与请求模式决定，不由窗口大小决定：1M 窗口可以 0% 命中，200K 窗口也能 90%+（稳定前缀放开头、别在头部插时间戳）。容量规划也别按会话数算：按「并发活跃请求 × 实际长度」算，任一时刻绝大多数会话离线、占的只是可回收的缓存位；但要给真跑满超长窗口的请求做准入控制（并发配额、长度分级），别让一个 1M 请求把整台机器的批处理能力挤瘦。

命中直接改写账单：命中读取的价约为原价 1 折，而写入缓存要加价（5 分钟档 1.25×、1 小时档 2×）——像租一个带过期时间的储物柜：存要加钱、取很便宜，放太久被 LRU 挤掉就得重算。省下的绝对金额随前缀长度增长，所以多轮 Agent 每轮重发全部历史时的增量缓存命中，正是「1M 窗口 × 多轮对话」在经济上成立的前提。判断一个长上下文 Agent 方案划不划算，先看它的稳定前缀有多长、命中率能做到多少，而不是看窗口标称多大。

03批处理与调度#llminf-batching

批处理：GPU 是大巴，不是出租车

decode 的主要成本是把权重从显存搬进计算单元；一次搬运顺手算 1 路和算 32 路耗时几乎一样——把并发请求拼进同一批，吞吐近似 ×32 而单路延迟只略增。实测量级：单请求几十 token/s 的卡，批到 32–64 路时整机吞吐能到几千 token/s，单路 TPOT 只慢 20–50%。演进三代：静态批（旅游包车：人齐才发、全程同进退）→ 动态批 → 连续批处理（地铁：每生成一步重新组批，完成的立刻下车、新请求下一步就上车）。

PagedAttention：显存当虚拟内存管

旧做法按「最大可能长度」预留连续显存，实际只用 20%，研究测到 60–80% 的 KV 显存被浪费。 vLLM（SOSP'23）把 KV Cache 切成固定小页（如 16 token/页），逻辑连续、物理任意、页表映射、按需分配——碎片近零、利用率逼近 100%，直接换来 2–4 倍吞吐。赠品：同一份前缀的页可以被多个请求共享（copy-on-write），前缀缓存由此而来。

前缀缓存：提示词结构 = 缓存命中率 = 账单

两条请求开头相同（同一 system prompt、同一文档、同一多轮历史），前缀部分的 KV 完全一样——算过一次就存着，后来者直接命中，省掉整段 prefill，TTFT 常见提速 3–10 倍。 SGLang 的 RadixAttention 把所有请求的 KV 按前缀组织成基数树，自动发现公共前缀、自动共享。最大受益者：多轮 Agent（每轮带全量历史，命中后每轮只算新增几百 token）和固定语料 RAG。把「稳定不变的内容放提示词开头」从写作习惯升级为省钱手段。

Chunked Prefill 与请求状态机

分块预填充（Chunked Prefill）解的是一个调度两难：

调度验收同时看五项：队列驻留、批内 token、KV 压力、取消抢占率、用户 SLO。

04推理框架图鉴#llminf-engines

两个别：别拿 Ollama 的体验推断生产容量（无连续批处理，几十并发吞吐差近一个数量级）；也别拿 vLLM 的门槛吓退桌面用户——两个世界各自最优。

云上三条路线

经验阈值：GPU 月利用率稳定站上盈亏线时，自建开始比按 token 买便宜（盈亏线按当期卡价与 API 价代入算）——成本模型见生产化一节。

引擎版本核实 2026-10-20（vLLM v0.32.0 · SGLang v0.5.22、Spec V2 默认开启 · TensorRT-LLM 稳定版 v1.2.1），来源 GitHub releases。这张表是本页过期最快的一处，月度巡检重点。不可外推边界：版本号只说明当期稳定版，不代表功能对等——三家的默认开关不同，跑分对比必须锁同一批参数。

05量化#llminf-quant

方法各管一段：FP8 训练后转换 + 少量校准几乎免费，权重和 KV Cache 都能用（KV 减半 = 并发翻倍）；AWQ/GPTQ 用小批校准数据找「重要权重」，是 GPU 端 INT4 主流；GGUF 服务桌面世界（llama.cpp 生态，2–8bit）。共同关键词是校准——拿几百条真实样本「试穿」，不是盲目砍位数。

什么时候收手

损失不均匀：日常对话、摘要、客服几乎无感；数学推理、代码生成、长链条逻辑对低比特敏感， INT4 可能掉 3–5 分甚至更多。反例警示：某场景 INT4 后客服话术无感，但工单里的金额计算开始出错——败在评测集没覆盖算术。两条铁律：①用自己的业务评测集做上线门禁，不只信通用榜单； ②分档使用——面客核心链路 FP8 起步，内部工具再下探 INT4。量化不是「开不开」而是「开到几档」：FP8 近乎白捡，INT4 用评测换显存，再往下要业务拍板。

核实 2026-07-09，来源 2026 量化综述。NVFP4 用块级缩放把量化误差比 MXFP4 降 88%（NVIDIA 数据）——低比特损失的大头来自缩放粒度。不可外推边界：这个 88% 是两种低比特格式之间的量化误差相对改善（厂商自家口径），不是「模型质量只掉一点点」的结论——业务侧仍要拿自己的评测集做上线门禁。

06投机解码#llminf-speculative

为什么「无损」

验证按大模型自己的概率分布逐 token 把关（拒绝采样），数学上可证输出分布与大模型独跑一模一样——不是「差不多」，是分布级相等。猜错的 token 被拒绝重算，损失的只是那次加速机会，不是质量。所以它敢进生产默认配置。

三代草稿与接受率

①独立小模型起草（要维护两个模型、词表对齐）→ ②EAGLE 系：在大模型内部特征上训轻量草稿头， EAGLE-3 配树状草稿成当前主流 → ③MTP（Multi-Token Prediction）：DeepSeek 系把多 token 预测头直接训进模型，原生自带。接受率是成败仪表盘：>80% 时整体 2–4 倍加速；草稿总被拒反而白付验证开销。趋势：草稿能力从「外挂」走向「内生」，新模型自带 MTP/EAGLE 头是 2026 常态。

收益边界

低并发、延迟敏感时收益最大（GPU 闲着，验证白嫖算力）；高并发吃满算力时收益缩水甚至为负。代码、结构化文本接受率高，天马行空的创意写作接受率低。典型配置：在线聊天服务开（保体验）、离线批量任务关（保吞吐），同一集群两套配置。一句话：投机解码是「拿闲置算力换延迟」的交易。

推理模型：优化从可选项变刚需

RLVR 训出的推理模型靠「先想后答」提升解题力——同一个问题，普通模型答 300 token，推理模型「想」5000 再答 300：decode 负载 ×17，且全部发生在最慢最贵的那段。行业预测 2030 年推理占 AI 总算力 ~75%。这就是 2025–2026 推理优化集中爆发的原因：投机解码默认化、P/D 分离标准化、NVIDIA 专门发布 Dynamo。售前叙事线：客户要更强的推理能力 → token 消耗数量级上涨 → 推理优化直接决定这件事经济上可不可行。

核实 2026-07-09，来源 2026 实测综述（vLLM 报告 EAGLE-3 最高 ~2.5×）。三板斧正交且叠乘：FP8 + 连续批处理 + EAGLE 组合后，同硬件吞吐可达朴素部署的 5–10 倍。不可外推边界：两个倍数都是特定负载与硬件下的实测：投机解码的收益强依赖草稿命中率，长输出场景收益大、短问答几乎无感；5–10 倍是三招叠乘的上限估计，不是默认可得。

07P/D 分离与分布式#llminf-disagg

推理侧三种并行

张量并行 TP（一层切给多卡，单机内低延迟首选，NVLink 内不出机）、流水线并行 PP（按层分段，跨机用）、专家并行 EP（MoE 的专家分布到多卡）。DeepSeek 系旗舰（671B 总参/37B 激活）权重远超单机 8 卡容量，生产普遍 TP+EP、几十张卡为一个推理单元——「部署单元」从单卡变成集群是 2026 年旗舰模型常态。MoE 激活少省的是每 token 计算量，但所有专家权重都要装在显存里待命：省的是电费，不是卡数。

P/D 分离：前厅后厨彻底分区

prefill 是算力密集的「突发大活」，decode 是带宽密集的「持续细活」，混跑时两个 SLO 互相绑架——chunked prefill 只是止痛药，根治是分池部署：

代价是 KV 搬运的网络开销：请求短、KV 小时不划算——它是「大集群 + 长上下文」的解药，不是万能默认。

Mooncake：KVCache 从私产变公共资产

Kimi 面对海量长文档对话，把整个推理平台围绕 KVCache 重构（FAST'25 最佳论文）：P/D 分池各自调度；全集群闲置的显存、内存、SSD 统一成分布式 KVCache 池，算过的前缀全集群共享复用；过载时按 SLO 主动拒载保住已接请求。真实负载下吞吐提升最高 5 倍级——「缓存换算力」在生产规模被验证。这是推理架构从单机思维到平台思维的分水岭。

配套拼图是 KV 分层存储（显存→内存→SSD）：热前缀留显存、温的下沉，命中即免 prefill——「存储换计算」。什么时候不用：客户规模没到「多机集群 + 长上下文」之前，单机 vLLM + chunked prefill 足够；过度架构是减分项，能讲出「什么时候不用」比「什么都用」更显专业。

核实 2026-10-20（Dynamo 稳定版 v1.5.1，2026-10-07），来源 NVIDIA 官方博客 / GitHub releases；Mooncake 见 arXiv 2407.00079。不可外推边界：分布式推理的收益随规模才显现，论文与厂商博客给的都是大规模场景的数字；小集群引入会先付一笔运维成本。

08生产化与排错#llminf-production

人的阅读速度约 5–10 token/s——TPOT 超过它太多，对阅读场景是浪费；同一集群分服务档，在线池保延迟、离线池吃剩余算力（错峰混部提利用率 20–30 个百分点）。

压测与成本心算

压测三口诀：真实流量、分位延迟、goodput 口径——用 vllm bench serve / AIPerf （现 v0.13.0，接棒 GenAI-Perf）这类懂 token 级计时的压测器，流量画像照生产日志配；看 P50/P90/P99 TTFT、P90 TPOT、整机吞吐、goodput（满足 SLO 的那部分吞吐）；画「并发-延迟」曲线找拐点，报价按拐点的 70–80% 留余量。三类假数字要拦：只报均值不报 P99、拿饱和吞吐当可用容量、短输入压测冒充长文档场景。

要签的不是一个吞吐数，是四份证据：负载——流量画像照生产日志配，短问答和长文档分开报；性能——P50/P90/P99 的 TTFT、P90 的 TPOT，容量口径用 goodput 不用裸吞吐；质量——量化档、投机解码这些优化开关都要过业务评测集门禁（见第 5 节）；成本——每百万 token 单价。四份必须绑同一个发布组合（模型、精度档、引擎参数、流量画像）一起出：其中任何一项改了，这份报告就作废——这就是「同口径对比」在推理侧的具体含义。

成本公式：每百万 token 成本 ≈ GPU 集群时租 ÷ 每小时产出。

粗看自建便宜，但要摊利用率、运维人力、峰值冗余——盈亏线按当期卡价与 API 价代入算，不背固定区间。

2026-09-05 量级参考，报价以实测为准。

降本组合拳：按序叠加

叠加不是简单相乘，但「现代引擎 + FP8 + prefix caching」三件套让多数场景的单位成本先降一半，是性价比最高的起手式。自建还是托管，三问定方向：数据能不能出去？月 token 量到没到量级？有没有人运维？——别替客户选立场，把两条路线的月账单摆出来，数字比立场有说服力。

按症状排错

这张表是网页版把全书速查从「按章翻」改成「按症状查」——机制都在上面各节，无新事实。

SLO 与成本量级核实 2026-07-09、压测工具 10-20（AIPerf v0.13.0），来源 pypi/GitHub 与 2026 年中多方评测量级归纳（讲义中已标注「参考」口径）。

09现场高频追问#qa

只收会改变某个决定的问题——会改变技术方案、风险判断、验收方法、对客沟通或下一步行动。

每题标出它加入本题库的日期：2026-07-09 的来自讲义首版对练页，2026-07-12 的来自引擎版本复核，2026-07-20 的来自容量规划增补，2026-07-23 是按客户交锋场景补的三题（上线验收 / 扛不住怎么办 / 已经自己跑起来了）。

10相关模块#related

同一个概念在库里只有一个主要归属，其余模块讲的是它的另一个层面。

11来源与核实#sources

本页时效性数字均经联网核实后写入，完整登记（事实 × 核实日期 × 信源）见本模块 MANIFEST。核实窗口 2026-07-09 至 2026-08-01。引用任何数字前先核日期。