AI Infrastructure I: Compute, Interconnect & StorageAI-Infra-Compute，算力硬件与网络

01全景总览#aic-overview

评估与规划的顺序：从约束最硬的层开始

训练与推理是两条完全不同的需求曲线

行业预测 2030 年推理占 AI 总算力约 75%——主战场正从「谁能训」转向「谁跑得省」，「每 token 成本」是长期主指标。训练推理共用一套硬件能但不划算：常见做法是训练集群固定重资产、推理按流量弹性，两套池子各自优化。

02GPU 解剖#aic-gpu

精度阶梯

位宽减半 → 同样硅片和带宽处理两倍的数 → 标称算力翻倍，代价是数值精细度。像记账：日常买菜记整数够用（推理），公司年报还得保留小数（训练主权重）：

对客铁律：对比两张卡的算力必须对齐精度口径——「B 卡是 A 卡 5 倍」常有一半来自 FP8→FP4 的口径切换，而非硅片进步。

Roofline：这块负载吃算力还是吃带宽

像自助餐厅——大锅菜拼厨师（算力），一人一碗面全堵在传菜通道（带宽）：

H100 级平衡点约 300 FLOPs/Byte。

MFU 是诚实指标（把通信等待、数据加载、重算全折进去）：大规模训练 35–45% 算优秀、Llama 3 报告 38–43%——顶级团队也只吃到四成。nvidia-smi 的「利用率 95%」只表示有 kernel 在跑，不等于 MFU。帮客户估训练时长用 MFU 40% 打底，不用标称值。

03显存与 HBM#aic-hbm

世代与供应

供应格局 = 三家（SK hynix / Samsung / Micron）供全球，产能锁死整机出货节奏——显存不仅是技术瓶颈，还是商业瓶颈。

两个口袋公式覆盖现场八成显存问题：训练看「参数 × 16 字节 + 激活」（权重 2 + 梯度 2 + 优化器状态 12——优化器才是大头；7B 全参 ≈112GB 单卡装不下，这就是「7B 也要多卡」和「LoRA 能单卡」的算术根源）；推理看「权重 + KV Cache」（FP8 下 70B ≈ 70GB； KV 随并发 × 上下文线性涨，并发一高反超权重成大头——下半本账在 LLM-Inference 网页版）。显存不够的软件三板斧：量化砍半、KV 分页与前缀复用、多卡切分——各有代价，通常先量化再谈加卡。

HBM 世代与供应核实 2026-07-09，来源 TrendForce / DigiTimes 等。不可外推边界：供应与世代节奏是市场快照，随产能和代次切换按季度变；它支持的是「HBM 是瓶颈也是成本大头」这个结构判断，具体交期与价格必须问当期报价。

04芯片格局与选型#aic-chips

NVIDIA 年更节拍

CUDA 护城河卖的不是芯片，是二十年生态

像手机换系统——硬件参数再漂亮，应用商店空着就没人搬家；换芯片的真实成本是软件移植和踩坑时间，不是差价。松动点三处：

「负载是否标准」是判断能否离开的钥匙：跑标准推理 2026 已可选，深度定制训练仍留在生态内。

四条替代路线，四种画像

TPU 的定位是「为推理时代造」，扛着 Gemini 生产推理；Trainium3 走的是够用 + 便宜 + 绑云。

选型三参数：算力（对齐精度）、价格（算 TCO）、交付时间——「等到了但拿不到货」是真实风险。

拿两家报价做对比时，价差往往不在卡上：网络规格、存储配套、能不能按期交到手，都不写在报价单里，却决定这批卡最后跑出多少有效算力——所以对比口径要落到同一份负载实测出来的 MFU 和每 token 成本上，而不是每卡时价。

芯片格局核实 2026-07-09，来源 GTC 2026 报道 / 各家官方。不可外推边界：厂商发布会与官网给的是标称规格，按理想条件测得；实际可得性、交付周期与实测性能都要另行验证——本册 MFU 一节就是这条的注脚。

05Scale-up 互联#aic-scaleup

NVL72 = 一台 120kW 液冷计算机

按柜交付、按柜调度、按柜规划供电与故障域。scale-up 域的大小直接决定能高效跑多大的模型——8 卡机 NVLink 域是 8、NVL72 是 72，按模型规模倒推。

06Scale-out 网络#aic-scaleout

先画流量画像再选网

NCCL 把并行策略翻译成网络流量——像合唱团对拍子：慢的那一个人决定全团速度，木桶效应在万卡被放大一万倍：

三条路线

回答「IB 还是以太」永远带三前提：集群规模、并行画像、运维能力。

拓扑三问看方案成色

Llama 3 的三层 Clos + 轨道优化 RoCE 是可引用标杆。网络占集群投资经验量级 15–25%（光模块是隐形大头）——这笔钱买的是「让另外 75% 的 GPU 投资不空转」。

「加了卡反而没快」：按四层对齐查

并行策略与物理网络对不齐，是「GPU 利用率挺高、训练就是慢」的头号病因。把它拆成四层，任何一层错配都会被放大：

先测再调：collective 微基准与拓扑健康检查先行，再调并行策略；通信图与物理放置当作同一份配置的两半来管版本。客户问「为什么加了卡反而没快」，就按这四层挨个查：通信图变了没、collective 量涨了多少、链路走对没、对分带宽够不够。

07存储与数据管线#aic-storage

并行文件系统图鉴

标准分层三层起步

常见翻车：数据预处理管线没并行化，GPU 集群建好了、数据还在单机脚本里过——数据管线按「能喂饱多少 GPU」验收，不是「能不能跑通」。

3FS 口径核实 2026-07-09，来源 GitHub deepseek-ai/3FS 等。

08算力经济学#aic-econ

TCO 四件套

参照锚点：H100 级云上时租约 $2–3/卡·时。

「运维人力」这一列要拆开报，它是自建方案最常被漏掉的一项：铁的那半（换卡换线、留多少余量、备货要等多久）是合同问题，作业的那半（坏了多快恢复、要不要从头重算）是平台问题——客户往往把它们揉成一句「谁负责」，分开答才答得清；平台侧的检测→驱逐→替换→续训闭环见姊妹册训练容错工程。集群尺度上故障是常态不是意外，所以余量得在容量里事前留出来，跟着下面那张证据表一起签，别等坏了再谈。

电是第一约束

风冷极限 30–40kW/柜，NVL72 的 120kW 必须液冷；PUE 从 1.5 降到 1.2 = 省 20% 总电费。

建 vs 租 vs API 决策树的根是利用率：自建对比长期租赁的盈亏平衡在利用率约 盈亏线按当期卡价与 API 价代入算——低于它自建必亏；托管 API 分两档（开源 70B 级约 $1、前沿旗舰 $12–50/百万输出 token），小体量下几乎总是最便宜的起点。决策口径：日均利用率稳过一半且有运维团队 → 自建/长租；负载波动大或刚起步 → 云弹性；只调用模型能力 → 直接 API 别碰硬件。多数客户高估自己的利用率——先上云跑三个月拿真实数据再做自建决策。GPU 折旧按 4–5 年、梯次使用（前两年训练、之后退居推理）；真正要防的是「买了跑不满」。

容量与基准要可复核：四层证据

给客户报容量、报基准，先问四层证据齐不齐——四层必须能互相解释，对不上容量承诺就是拍脑袋：

两条硬纪律：①报告要给原始配置、分布和失败样本，不只报最佳点；②MLPerf 这类公开基准用于校准与筛选，不替代业务流量验收，容量按「可承诺 SLO 下的稳态结果」推导、不按峰值。缺哪层，合同里就给哪层留缓冲（与 LLM-Inference 的容量四证据同一套方法论，那边管推理服务、这边管算力采购）。

09上云怎么落地#cloud

先定档：自建、租算力，还是直接买 API

顺着追问什么：现在的 token 账单一个月多少，离自建盈亏线还有多远？有没有数据合规要求必须私有化，会不会要自有模型、微调常态化？日均利用率是多少——有监控数据，还是估的？

云替你做不了什么：云报价里已经含了电、房、网、运维四件套，拿它跟自建的裸卡价比，是两本账。云能免掉折旧风险，免不掉利用率这个数本身——多数客户高估它，先上云跑三个月拿真实数据，那三个月的数字才是自建决策的依据。

卡型落地：芯片选择翻译成云上实例

顺着追问什么：会不会要从这朵云搬出去——多云或迁出已经写进规划了吗？

云替你做不了什么：云把 ASIC 那条路的栈包办了（XLA/Neuron），省的是自己搭栈的功夫，省不掉迁出去重新适配——便宜的前提是「负载标准 + 绑定这朵云」。比价也别只比裸时租：网络规格、存储配套、可用性 SLA、能不能真拿到货这四件事不写在报价单上，裸价差一两成而 MFU 差两三成，总账可能是反的。实例族名随代次更新快，这里是 2026-07 的代表性形态，报价前以各云当期官网为准。

存储与数据管线：五个环节各有托管形态

顺着追问什么：数据集现在多大、多少个文件、单个样本多大？一个 checkpoint 多大，写的时候 GPU 停多久你们能接受？现有存储的聚合吞吐实测过没有——先测一遍，数据会说话。

云替你做不了什么：托管并行文件把「热层怎么搭、谁来运维」接过去了，接不过去的是「配多少」——数据加载按 GPU 数 × 每卡消费速率、checkpoint 按模型状态大小 ÷ 可接受的暂停时间，两个峰值仍要自己倒推。托管也不改物理：对象存储直连训练在小规模实验行、生产集群会把 GPU 利用率拖垮，分层这一步省不掉。服务名各云叫法不同、更新也快，给客户讲「类别 + 验收指标」比背服务名稳。

本节服务清单与「给客户一句话」与讲义各章的「上云怎么落地」页同源，未引入新事实；「顺着追问什么」与「云替你做不了什么」两格是网页版补的售前视角。不可外推边界：这是「哪个环节有云服务可用」的地图，不是选型结论——具体产品的地域可用性、配额、计价单位与生命周期状态会月级变动，出方案前按当期官方文档逐项复核。

10现场高频追问#qa

只收会改变某个决定的问题——会改变技术方案、风险判断、验收方法、对客沟通或下一步行动。

每题标出它加入本题库的日期：2026-07-09 来自讲义首版对练页，2026-07-23 是按客户交锋场景补的三题（容量怎么证明 / 卡坏了谁负责 / 报价被比价）。

11相关模块#related

一句话分工：本页讲铁，Training/Inference 讲负载本身，姊妹册讲把负载高效跑在铁上的中间层。

12来源与核实#sources

本页时效性数字均经联网核实后写入，完整登记见本模块 MANIFEST。核实窗口 2026-07-09。芯片与网络代次年更，引用任何数字前先核日期。