01全景总览#llmtrain-overview
流水线六道工序，评估贯穿全程当质检。预训练造「博学但不会聊天」的底座，后训练教「听话、分寸、思考」——市面模型的差距大头在后训练。
三种出厂形态对应工序深度
「同尺寸为什么能力差很多」：数据质量 × 训练配方 × 后训练深度，参数量只是一个变量。
训练 vs 推理的两笔账要先分清：
训练是「改权重」
几千张卡跑数周的一次性资本投入（建电厂）。
推理是「用权重」
按 token 持续计费（发电卖电），客户日常账单的 99% 在推理侧。
行业测算 2030 年推理算力占 AI 总算力约 75%。权重发布后是冻结的，不会「越用越聪明」——更新知识走 RAG 或增量微调。
02数据：模型的粮食#llmtrain-data
「Garbage in, garbage out」在大模型时代被放大一万倍：旗舰模型的饭量在 15–30 万亿 token（Kimi K2 吃了 15.5T、MiMo-V2.5-Pro 27T）。语料三大件：
原料人人有，清洗去重的手艺才是护城河。
清洗去重是最值钱的环节：重复数据让模型死记硬背、浪费算力、放大隐私风险——FineWeb 把公开的 Common Crawl 反复过滤去重做出 15T 高质量语料，同源数据、更好的洗法、明显更强的模型，是数据工程的公开教科书。分词是模型的切菜刀：BPE 从语料统计出词表，常见词整颗下锅、生僻词切成碎末——同样内容中文通常比英文多花 30–100% 的 token，直接影响账单和有效上下文；估成本别拿英文基准直接换算中文。
数据墙已至
互联网高质量文本存量约 10–50 万亿 token，按 Chinchilla 训 1T 参数就要约 20T——新一代模型把公开好数据基本吃完了。
三条出路：
合成的风险要讲透：模型吃自己生成的数据可能「近亲繁殖」（模型坍缩）——真实数据打底、合成增强、严格过滤。给客户的叙事：数据红利期结束，竞争转向数据工程和后训练——这解释了主旋律从「更大」变成「更会想」。
数据墙口径核实 2026-07-08，来源 多方分析。
03预训练#llmtrain-pretrain
一个简单到不可思议的任务——「猜下一个词」——重复几万亿次后，模型学会了语法、事实、代码和推理的雏形。两个视角：无限量完形填空（填对「因为下雨他带了__」要懂因果，被迫学会世界的规律）与有损压缩（几十 TB 文本压进几百 GB 权重——压缩即理解，解压失真即幻觉——所以需要 RAG 配「可翻的资料柜」）。
| Scaling Laws 三代 | 核心主张 | 一句话记忆 |
|---|---|---|
| Kaplan 2020 | 能力随参数/数据/算力按幂律可预测提升，参数优先 | 「做大就完了」 |
| Chinchilla 2022 | 同算力下参数与数据要配平：约 20 token/参数 | 「吃饱再长个」 |
| 推理感知 2024– | 把推理服务成本算进最优解：小而多训总账更划算 | 「好养活才是真便宜」 |
2026 年旗舰开源模型几乎全是稀疏 MoE：Kimi K3 总参 2.8T/激活 104B、DeepSeek V4-Pro 总参 1.6T/激活仅 49B、 Llama 4 Maverick 400B/17B、Qwen 3.5 397B/17B（Qwen3.6 的开源线只到 35B-A3B，但 Qwen3.8-2.4T-A95B 已开放权重——最大的开源 Qwen 翻篇到 3.8）——像会诊制医院，分诊台每次只叫得动其中一小撮医生，但医院整体什么都懂。看 MoE 先分清两个数：总参数（知识容量、显存门槛）与激活参数（每次计算的成本）——MoE 省的是计算不是显存，专家轮流干活但都得在场，这正是私有化部署报价的关键差异。
降本组合拳（「DeepSeek 为什么训得便宜」的标准结构）：架构省（MoE 稀疏激活）+ 精度省（FP8 混合精度，显存带宽近乎减半，已进主流实践）+ 算法省（Muon 优化器计算效率约 2 倍，Kimi K2 用 MuonClip 在 15.5T token 上零训练崩溃，PyTorch 2.9 已原生内置）+ 工程省（通信计算重叠，把每张卡榨干）——是精打细算，不是偷工减料。架构侧的「发动机舱」在 LLM 网页版：那边讲机器是什么，本页讲机器怎么被造出来。
MoE/FP8/Muon 格局核实 2026-08-01（Kimi K3 的 2.8T/104B 据 HF 模型卡 huggingface.co/moonshotai/Kimi-K3 与技术报告 arXiv 2607.24653；Qwen 开源线规模据 HF Qwen3.6 合集），其余来源 OpenRouter 盘点 / PyTorch 官方博客。不可外推边界：盘点反映的是公开模型的技术选择分布，不含各家的训练细节与失败尝试；「主流」不等于「对你的规模也最优」。
04SFT：教会听话#llmtrain-sft
base 模型像博学的书呆子：问「北京有什么好玩的」，它可能接着写「？这是游客最常问的问题之一」。SFT 用「指令→示范回答」的成对数据告诉它：你的新工作是当助手——是雕刻，不是浇筑：不灌新知识，只定型行为，知识上限仍由预训练决定。
数据量比预训练小四五个数量级（几万到几百万条），且质量碾压数量：LIMA 实验仅用 1,000 条精选示范就逼近几十倍数据的效果——模型的知识在预训练已就位，SFT 只是「唤醒格式」。好数据主流靠蒸馏：强模型批量生成候选、过滤改写、人工抽检（Tülu 3 把整条配方开源）。
两个坑：
示范里塞模型「其实不会」的知识
会教出自信的胡说。
风格单一
会把模型训「僵」。
容易被忽略的细节是对话模板（Chat Template）
用特殊标记包住各角色，模型才分清「谁在说话、我该在哪开口」——用错模板是开源模型部署后胡言乱语的头号原因。
选型口诀与镜像模块：「改知识用 RAG、改行为用微调、先试提示词」——应用侧在 RAG 网页版，落地工程（LoRA/QLoRA/托管服务）在 Fine-tuning 网页版——本页只讲训练侧原理。
梯子还有最上面一档：从头训一个自己的底座。什么时候才轮到它——三条同时成立才算：①要的东西既不是知识（RAG 能给）、也不是行为（微调能给），而是通用底座压根没学过的那类语料；②手上有公开语料里没有的私有数据，且量级撑得起预训练——数据墙那节的言外之意就是公开好数据已被吃完，你的增量只能来自自己的库；③算力、人和试错预算按第 7 章的量级备齐，而不是按「正式那一跑」的账备齐。三条缺一条，就往下一档退。
05对齐：教会分寸#llmtrain-alignment
「答得像样」不等于「答得好」：好回答的标准只存在于人类偏好里——有用、诚实、无害（3H）常互相打架，「分寸」写不成规则。InstructGPT 的开山证明：13 亿参数加上调教，在人类评价中赢过 1750 亿的原版——调教的价值能顶两个数量级的参数，后训练时代由此开启。
RLHF 三件套
永恒软肋：评委被钻空子（Reward Hacking）
模型发现「答得长、姿态谦逊、堆免责」能骗高分——古德哈特定律：指标一旦成为目标就不再是好指标。工程上靠评委定期换届 + 多评委制衡缓解。
DPO 的暴力简化：跳过奖励模型和 RL，直接在偏好对上抬高好答案概率、压低差答案——简单、稳定、便宜，是开源与企业偏好定制的默认起手式。先 DPO，不够再上 RL。
对齐税真实存在但可调控：过度安全训练导致误拒、回答套路化（先共情再免责）、创造力下降——像医院的免责文化，每条规定单看都合理，叠起来体验直线下降。工程平衡术：有用性与安全性分开做奖励信号、边界案例训「该拒的拒、不该拒的别拒」、上线后跟踪误拒率。客户抱怨「模型太怂」的专业回应：这是对齐策略的选择不是能力缺陷——可用系统提示词放宽或自有偏好数据 DPO，把分寸调到业务需要的位置。
06RLVR 与推理模型#llmtrain-reasoning
推理模型＝先想后答：像「打草稿」替代「心算」——答题前生成思维链，慢思考换高正确率。背后的训练革命是 RLVR：奖励不再来自评委的品味，而来自「答案对不对」这个机器可判的铁标准——数学有标准答案、代码有单元测试，讨好在这里失效。
DeepSeek-R1 当时轰动的三点
| 纯 RL 能涌现推理 | 反思、验算等行为自发出现——R1-Zero 的「aha moment」，没人教过 |
| GRPO 把成本打到零头 | PPO 要额外训价值模型估「这步值多少分」；GRPO 用组内平均分当基准——参照系来自同伴不来自裁判，省掉一整个裁判系统 |
| 全套 MIT 开源 | 连蒸馏小模型一起放 |
技术叙事串起来
DPO 砍掉奖励模型、GRPO 砍掉价值模型——后训练平民化，是开源快速追平的方法论基础。
完整配方是 SFT → DPO → RLVR 层层叠加：数学代码靠 RLVR 突飞猛进，写作共情仍靠偏好对齐。
产品化三件套
蒸馏装进小模型
特级教师的解题笔记——学生照着写满推导的笔记临摹，成本是自己悟的零头，上限锁死在老师之下。企业想要私有推理模型，九成场景蒸馏够用。
路由控成本
简单题快模型、难题升推理模型——推理模型是「更贵的档位」不是「更好的模型」。
思维链慎展示
它是草稿不是审计日志，可能含试错与幻觉——把草稿当结论呈现是常见产品事故。
推理模型让 decode 负载暴涨的推理侧后果在 LLM-Inference 网页版；「agent 为什么现在能成」的模型侧原因也在这一步——规划、反思、多步工具使用都是 RL 里练出来的。
后训练主流栈（SFT→DPO→RLVR，GRPO/DAPO 主力）核实 2026-07-08，来源 2026 后训练综述。不可外推边界：综述归纳的是公开工作的顺序，各家实际配方并不公开：顺序可参考，超参与数据配比不可照搬。
07基础设施与算力账#llmtrain-infra
前六节讲「教什么」，这一节讲「教室和学费」。显存账：训练每参数约 16 字节（权重 2 + 梯度 2 + 优化器状态 12）——70B 仅这三项就要约 1.1TB，单卡连零头都装不下；这也是 LoRA（只训 1% 参数，优化器状态跟着缩 99%）能把门槛从集群打到单卡的原因。
| 并行方式 | 怎么分 | 类比 | 代价 |
|---|---|---|---|
| 数据并行 DP | 每卡完整副本训不同数据，定期同步；ZeRO 把冗余状态切碎分摊 | 多个班用同套教材各自上课 | 每卡要装下模型（ZeRO 缓解） |
| 张量并行 TP | 单层大矩阵切到多卡合算 | 一张大桌子四人合抬 | 通信极密集，只适合机内 NVLink |
| 流水线并行 PP | 按层切段，数据流水过站 | 工厂流水线各管一段 | 有「气泡」空转要调度填满 |
| 专家并行 EP | MoE 专家散到多卡，token 按路由投递 | 各科室分楼办公 | 路由不均会忙闲不均 |
6ND 训练成本速算器
总算力 ≈ 6 × N（参数）× D（token）÷（卡数 × 单卡有效算力 × MFU）= 天数。讲义第 7 章镇场公式的交互版——给量级不给保证；「正式一跑」通常只占总投入一半以下。
集群不是「一堆卡」而是「一台超级机器」：
| GPU 算力 | 大量同型号 GPU 堆出总算力——这部分是可采购的商品，谁都买得到 |
| 高速互联 | 节点内 NVLink、节点间 RDMA——张量并行对带宽极度敏感，这才是 AI 集群与散租 GPU 的本质区别 |
| 并行文件存储 | 高吞吐并行文件系统喂数据、扛 checkpoint 洪峰写——慢了 GPU 就空等 |
容错是隐形主角
训练是同步作业，一卡挂全队停——Llama 3 训练经历 466 次中断不是意外是常态。恢复能力不是「有 checkpoint」，而是「演练过、对过账、敢按钮」；「有效训练时间占比」（可到 95%+）值得写进算力采购 SLA。
自建 vs 租云：训练是脉冲式负载，租云弹性占优；微调不需要这套重装备——把「预训练级基建」和「微调级需求」分开，能帮客户砍掉九成不必要的预算焦虑。
并行通信怎么被网络承载在 AI-Infra-Compute，作业怎么被调度在 AI-Infra-Platform。
省显存的每一招，都把成本转移到别处
显存不够时有四根杠杆，没有一根是白省的——每一招都把代价转移到别处，按顺序动：
| 杠杆 | 省什么 | 代价转移到哪 |
|---|---|---|
| 混合精度 | 权重与计算用 BF16 / FP8，状态与算力都省 | 数值范围变窄：盯 loss 溢出与发散 |
| 激活重计算 | 前向激活不存，反向传播时重算 | 吞吐与 MFU 下降，训练变慢 |
| 分片（FSDP / ZeRO） | 参数 / 梯度 / 优化器状态切碎分摊到多卡 | 通信量上升：吃网络，规模越大越明显 |
| CPU / NVMe 卸载 | 把暂时不用的状态挪出显存 | PCIe 带宽与尾延迟：取书慢 |
动手顺序：先量化显存账本、清异常与碎片 → 混合精度 / 重计算 → 分片 → 最后才考虑卸载；梯度累积另记一笔——省的是激活，代价是全局 batch 语义变化。
训练方案的验收证据，四组八项
客户问「你们支持分布式训练吗」，专业答法不是「支持」，是把这四组证据摆出来——任何「支持分布式」的承诺都要落到版本、规模、边界条件：
| 验收组 | 要交出的证据 |
|---|---|
| 数据与目标 | data card（来源 / 许可 / 去重 / 切分）+ tokenizer 与样本游标；loss 口径、分片验证、基线与早停——来源不清或不可复现直接拒绝 |
| 并行与性能 | 各 rank 数据不重不漏、数值容差、并行网格记录；显存账本、tokens/s、MFU、扩展曲线与瓶颈分解 |
| 恢复与运维 | checkpoint 清单、故障注入演练、RPO / RTO、告警与责任路由——恢复没演练过，等于没有 |
| 成本与交接 | 完成成本、配额与区域、模型卡、评测报告、退出与迁移路径——交付的是可复现的方案，不是一次成功的运行 |
08评估与发布#llmtrain-eval
评估三层像招聘三道关：
只看笔试成绩发 offer，是选型翻车的标准姿势。
榜单通胀的三个病
行业应对：基准持续换代、私有保留集、污染检测。售前的分寸：引用榜单时主动说明局限，反而比无脑报分数更建立信任。训练内部还有「过程评估」：每个阶段跑全套基准防「补了数学、塌了写作」。
模型卡五盯点（五分钟读懂一次发布）：
企业自建评估集的最小配方（50–200 道真题、业务专家评分、版本化管理）在 Evaluation 网页版展开成完整方法论。
许可格局核实 2026-10-20（Kimi K3 与 Qwen3.8-Max 许可条款均据 HF 仓 LICENSE 原文；Qwen3.6 开源线 Apache 2.0 据 HF 模型卡），其余来源 OpenRouter 2026-06 盘点。不可外推边界：许可格局按发布批次变动（Meta 转向、Qwen 旗舰转闭源都是本节的例子）；许可证结论一律以当日 LICENSE 原文为准。
09上云怎么落地#cloud
前八节讲训练这条流水线本身。这一节换个视角：每道工序在云上对应哪类服务、这句话对客户意味着什么、该顺着追问他什么、以及哪些事云替你做不了。按工序顺序排，不按章节排——白板上就是从左往右画的。 训练这一侧各家产品名叫法不一，本节只写讲义点到的服务类别，不替某一朵云背书。还有一句先说破：三组里多数客户真正走到的是第三组，前两组的用处是把「要不要自己训」这件事的量级摆出来，当场砍掉九成不必要的预算焦虑。
同一环节给多厂商代表选项，不绑死单一供应商；只列有真实云关联的环节，没有就不硬凑。服务能力以各云 2026 年现状为准，报方案前按当期文档复核。
备料：数据管线是训练项目的第一笔云账
| 技术环节 | 代表性云服务（多厂商，非绑定） | 给客户一句话 |
|---|---|---|
| 原始语料落盘 | 对象存储（存 Common Crawl 这类网页快照） | 语料先得有地方放，这是训练项目里云资源的第一笔账 |
| 清洗与去重 | 分布式批处理集群（Spark 类引擎），或云上托管的批处理服务 | 典型的大数据批处理负载，和训练集群是两笔钱，报价时分开列 |
顺着追问什么：语料有多少、现在放在哪、多久新增一批？清洗去重打算跑在训练集群上还是单独起一套批处理集群——这两笔账混在一起报，客户后面一定回来问。合成数据打算占多少比例，谁来做过滤和抽检？
云替你做不了什么：云给的是存的地方和算的地方，给不了清洗配方。FineWeb 说的就是这件事：同一份公开的 Common Crawl，洗法不同，训出的模型明显不一样——手艺不随集群一起买来。去重也不是「跑通就行」：重复数据会让模型死记硬背、浪费算力，还放大隐私泄露风险，滤到什么程度、按文档级还是段落级，只能自己定并自己验。
训练集群：按整机交付，账却记在容错上
| 技术环节 | 代表性云服务（多厂商，非绑定） | 给客户一句话 |
|---|---|---|
| GPU 算力 | 云上「AI 超算集群」类产品，按整机柜或整集群交付（数百到数千卡同代同构） | 卡是谁都买得到的商品，同代同构才凑得成一台机器 |
| 高速互联 | 节点内 NVLink、节点间 RDMA（Remote Direct Memory Access）网络 | 张量并行对带宽极度敏感——这才是云上 AI 集群和散租 GPU 的本质区别 |
| 并行文件存储 | 高吞吐并行文件系统，喂数据 + 扛 checkpoint 高频写 | 存储跟不上，几千张卡一起空等 |
| 容错与恢复 | 高频 checkpoint + 自动摘除坏节点 + 热备替换 | 训练是同步作业，一卡挂全队停，「有效训练时间占比」才是集群运营水平的刻度 |
| 弹性形态 | 整段租云 / 自建 / 预留一部分保底 + 峰值弹性上云 | 训练是脉冲式负载，训完就闲，按利用率盈亏点算账，别拍脑袋 |
顺着追问什么：要训多大的模型、吃多少 token——先用 6ND 当场把卡数和天数算出来，再谈买什么规格。张量并行打不打算跨节点，决定要不要机内 NVLink 这一档。checkpoint 多久写一次，故障恢复演练过没有，谁按那个按钮？这轮是训完就停，还是要连着跑几个月——这一句决定租云还是预留。
云替你做不了什么：云能把卡、网、存储按整机交付，交不出「有效训练时间占比」——那是运营水平：坏节点多久摘掉、从哪个存档续上、恢复演练过没有。所以这个指标要写进算力采购的 SLA 当条款，而不是听一句承诺。另一件云不替你算的是总账：数据管线、失败重跑、消融实验、人力都不出现在集群账单上，而「正式那一跑」通常只占总投入一半以下，照账单报价必崩。
大多数客户真正走到的那一档：托管微调与评估
| 技术环节 | 代表性云服务（多厂商，非绑定） | 给客户一句话 |
|---|---|---|
| 托管微调服务 | 上传 JSONL 格式的问答数据 → 平台代跑训练与评估 → 产出私有模型或适配器（Adapter）供 API 调用 | 带数据来、取模型走，客户不用管卡和框架 |
| 微调的算力档位 | LoRA／QLoRA 单卡到几卡；全参微调才要多卡集群 | 九成企业场景从 LoRA 起步，别按预训练级基建备预算 |
| 数据与权重归属 | 平台侧的租户边界承诺（数据不出租户边界、不回流进基础模型训练） | 训练数据和产出的适配器都归客户——这条写进合同，是企业客户的底线 |
| 评估与选型 | 云上「模型评估服务」：托管评估集、多模型对比跑分、LLM 当裁判（LLM-as-a-Judge）自动初评 + 人工复核抽检 | POC 阶段用它替代手工对比 Excel |
顺着追问什么：手上有多少条数据，能不能整理成「指令 → 示范回答」的成对格式？他真正想改的是说话风格还是想补知识——补知识那档 RAG 就够，不用动权重。训练数据和产出的适配器归谁、平台承不承诺不回流进基础模型，这句现在就问出口，别等合同评审。拿什么判「变好了」——评估集有没有，谁来评分？
云替你做不了什么：托管微调替你跑训练，替不了你把数据整理好：LIMA 那条结论是千条精品胜过十万条杂数据，成本大头在数据治理和评估的人力，不在训练那几个小时。评估服务能自动初评、能多模型对比跑分，但 LLM 当裁判只是初筛，仍要人工复核抽检；题目更得是客户自己的真题——50 到 200 道业务真题、每道配可接受答案要点、由业务专家而不是工程师评分，「什么算答对」这件事平台不会替你定义。
本节服务清单与「给客户一句话」与讲义各章的「上云怎么落地」页同源，未引入新事实；「顺着追问什么」与「云替你做不了什么」两格是网页版补的售前视角。不可外推边界：这是「哪个环节有云服务可用」的地图，不是选型结论——具体产品的地域可用性、配额、计价单位与生命周期状态会月级变动，出方案前按当期官方文档逐项复核。
10现场高频追问#qa
只收会改变某个决定的问题——会改变技术方案、风险判断、验收方法、对客沟通或下一步行动。
每题标出它加入本题库的日期：2026-07-08 来自讲义首版对练页，2026-07-13 来自训练恢复与生产验收深潜，2026-07-23 是按客户交锋场景补的两题（要不要自己训 / 训练方案怎么验收）。
你们的模型到底是怎么训出来的？2026-07-08
两大阶段：先在数万亿词的语料上做「下一词预测」学出知识底座（预训练），再用示范教学、人类偏好和可验证奖励三步调教成助手（后训练）——像培养医生：读万卷书、规培、纠偏、考执业。
六道工序的地图是所有训练话题的坐标系：客户问到什么，先定位在哪道工序再谈细节。
下一步 用「培养一名医生」90 秒讲完六道工序——类比的边界也要讲（医生持续学习，权重发布即冻结）。
依据 全景总览
训练一个大模型到底要多少钱多少卡？2026-07-08
为什么 DeepSeek 能把训练成本压那么低？2026-07-08
四层组合拳：MoE 稀疏架构、FP8 低精度（显存带宽近乎减半）、更高效的训练算法、通信计算重叠的极致工程。是精打细算不是偷工减料——技术报告全公开，经受住复现检验。
「架构/精度/算法/工程」四个筐是拆任何一家训练成本的通用框架——出口管制下的算力约束反而逼出极致工程，这个叙事客户很爱听。
下一步 推理侧的另一半答案（MLA+MoE 的服务成本）在 LLM 网页版第 5 节——两页合起来讲全「为什么便宜」。
依据 降本组合拳
MoE 模型报的 400B 参数，跟稠密 70B 怎么比？2026-07-08
比「激活参数」和实测：400B 总参的 MoE 每次推理可能只用 17B 的算力，推理成本接近小模型、知识容量接近大模型。但显存要装下全部 400B——私有化部署的硬门槛。
「MoE 省的是计算不是显存」是高频考点：专家轮流干活但都得在场——别被总参数唬住，也别用总参数唬客户。
下一步 报价表把「显存门槛（总参）」和「算力成本（激活参）」分成两行写。
依据 MoE
我们只有几千条数据，够微调吗？2026-07-08
行为类微调够了——LIMA 证明一千条精品就能显著改变行为。关键不是条数是质量：先花两周治理出 500–2000 条精品，比堆十万条杂数据效果好。
SFT 只是「唤醒格式」，知识在预训练已就位——示范里塞模型不会的知识反而教出自信的胡说。
下一步 落地工程（LoRA 配方/数据流水线/验收）在 Fine-tuning 网页版——本页给训练侧依据。
依据 质量碾压数量
对齐会不会把模型调笨？2026-07-08
有代价，业内叫对齐税——主要体现在误拒和套路化回答。但可控：有用性与安全性分开优化、监控误拒率。反过来说，没有对齐的模型根本不敢投产——必要成本，不是缺陷。
「同一个问题你们拒答、别家回答」是策略松紧不是能力差距——企业可按业务把分寸调到合适位置（系统提示词放宽或自有数据 DPO）。
下一步 设计 5 个「合理但易被误拒」的边界问题测误拒率——零成本的对齐质量评估小工具。
依据 对齐税
推理模型和普通模型到底差在哪？2026-07-08
训练上多了 RLVR——在可判对错的任务上强化刷题；行为上先生成思维链打草稿。难题正确率大幅上升，代价是更慢更贵。它是「更贵的档位」，不是全面升级。
值不值得付费认准一条：任务有没有「值得多想几步」的复杂度和「可验证的对错」——闲聊摘要纯属浪费，路由分流能省一半以上。
下一步 思维链是草稿不是审计日志——产品上展示摘要版或只给答案，别把草稿当结论呈现。
依据 RLVR 与推理模型
榜单分数能信吗？2026-07-08
能信一半：标准化笔试能快速淘汰不行的，但有污染和刷榜水分。三层走：榜单初筛、 Arena 看偏好、最后拿自己的真题实测——试用期表现才是唯一作数的。
「跑分很高用起来不行」三个常见原因：题型不匹配、评测条件不同（榜单开思维链你线上关了）、污染虚高——解法就一条：自建评估集。
下一步 按模型卡五盯点做对比表；评估集方法在 Evaluation 网页版。
依据 评估与发布
我们该自建集群还是用云？2026-07-13
看负载形态：训练是脉冲式的（训完即闲）租云弹性占优；7×24 推理长负载或数据主权硬约束才是自建的理由。常见解是混合——预留保底、峰值弹性，按利用率盈亏点算账。
集群的卖点是「卡+互联+存储+容错运营」的整机能力——「有效训练时间占比」写进 SLA，恢复能力要演练过才算有。
下一步 先分清需求档位：微调用不到预训练级基建——LoRA 单卡到几卡、托管服务开箱即用。
依据 上云与容错
我们要不要训一个自己的大模型？2026-07-23
多数情况答案是不要，但直接说「不要」，客户听到的是敷衍——先把这句话背后要的东西问出来。客户说「训自己的模型」，多半指的是三件里的一件：说我们的话（行为问题，微调就够）、懂我们的业务（知识问题，RAG 就够）、数据不能出门（部署问题，私有化部署就够）。对上哪一件，当场就收口了。三件都对不上，才轮到真正的从头训，而它要同时过梯子最上面那一档的三条门槛，缺一条就往下退。
这题两个方向都能答砸：顺着说「能训」，后面是万卡与千万美元级的账，而且「正式那一跑」只占总投入一半以下，报价怎么算都要崩；张口说「不要」，你就成了否定客户想法的那个人。改叙成「你要的是哪一件」，结论由客户自己得出——你不是劝退方，是帮他把预算砍在刀刃上的那一方。
下一步 当场请他把「要自己训」背后的诉求说成一句话，三件里对上哪件就地收口；三件都不是，再打开速算器把量级摆出来。下面三档具体怎么选，见 Fine-tuning 的定制光谱与分界线。
依据 选型口诀与最上面一档 · 自建 vs 租云
你们支持分布式训练吗？那这个训练项目怎么算验收通过？2026-07-23
最危险的答法是「支持」——这两个字一出口，边界就归客户定了。专业答法是把「支持」落到版本、规模、边界条件，再把四组证据摆上桌：数据与目标（data card、loss 口径、基线与早停，来源不清或不可复现直接拒绝）、并行与性能（各 rank 不重不漏、显存账本、MFU 与扩展曲线）、恢复与运维（checkpoint 清单、故障注入演练、责任路由）、成本与交接（完成成本、模型卡、退出与迁移路径）。一句话收口：交付的是可复现的方案，不是一次成功的运行。
训练项目和别的项目不一样在于，「跑通过一次」几乎不构成证据：同步作业一卡挂全队停，Llama 3 那一轮就中断了 466 次，恢复能力没演练过就等于没有。事前把这四组签下来，你不必承诺任何一个具体分数，验收也没有一条要靠事后解释——这比给指标承诺安全得多。
下一步 把「有效训练时间占比」写进算力采购 SLA，并要求一次真的故障注入演练当验收动作；作业调度与容错的平台侧深潜见 AI-Infra-Platform。
12来源与核实#sources
本页时效性数字均经联网核实后写入，完整登记（事实 × 核实日期 × 信源）见本模块 MANIFEST。核实窗口 2026-07-08。引用任何数字前先核日期。
| 来源 ID | 信源 | 支持什么 | 不能支持什么 |
|---|---|---|---|
src-pretrain | Kimi K3 模型卡（HF）/ OpenRouter 2026-06 盘点 / PyTorch 官方博客 / arXiv 2507.20534 | MoE 格局、FP8 实践、Muon 内置 | 旗舰配方季度级演进 |
src-data | 多方分析（aimultiple 等） | 数据墙量级（10–50T token 存量） | 估算区间宽，量级参考 |
src-posttrain | llm-stats 2026 后训练综述 / arXiv 2407.16216 | SFT→DPO→RLVR 主流栈与 GRPO 地位 | 算法族迭代快 |
src-eval-lt | OpenRouter 2026-06 盘点 | 开源许可格局（Apache 2.0 主流/DeepSeek MIT）；旗舰分叉一节另据各家 LICENSE 与官方模型页 | 许可以各模型原文为准 |
src-infra | HF Ultra-Scale Playbook / 行业综述 | 并行组合拳与 2030 推理算力 75% 预测 | 预测值非现状统计 |