算力与数据底座 · Compute · Platform · Data

AI-Infra-Compute · 算力硬件与网络

AI 基础设施的硬件底座:GPU/加速器到底是怎样一台机器(SM、HBM、Tensor Core)、显存与算力怎么算账、芯片选型格局(NVIDIA 各代 / TPU / 国产芯片),以及把上万张卡连成一台"超级计算机"的互联网络(NVLink / InfiniBand / RoCE)、集群拓扑、高性能存储与数据管线。面向售前技术,讲清这些硬件为什么这样搭、钱花在哪、选型时怎么取舍。

本模块产出物:
· 讲义式 PPT:AI-Infra-Compute-讲义.pptx(主力成品,✅ 87 页)
· 精选电子书书单:电子书书单.md(✅ 10 项)
· 原始素材留痕:raw-data/(2026-07-09 起)

章节列表与状态

#章节要点状态
1全景总览五层栈、AI Infra vs 传统 IDC、训练与推理两条需求曲线✅
2GPU 解剖吞吐机器、Tensor Core、精度阶梯 FP32→FP4、Roofline、MFU✅
3显存与 HBMHBM 堆叠、HBM4 量产格局、训练/推理两本显存账✅
4芯片格局与选型NVIDIA 年更、CUDA 护城河、AMD/TPU/Trainium/昇腾、上云卡型对照✅
5Scale-up 互联NVLink 5、NVSwitch、NVL72 机柜解剖、UALink 挑战者✅
6Scale-out 网络RDMA、NCCL 集合通信、IB vs RoCE vs UEC、胖树/轨道优化拓扑✅
7存储与数据管线训练 IO 两副面孔、并行文件系统图鉴、对象存储分层、KV Cache 外置✅
8算力经济学与售前速查TCO 拆账、电与冷却、建 vs 租 vs API、两张速查表✅
串联:本模块是"算力底座层"的硬件半边,姊妹模块 AI-Infra-Platform 讲平台半边(调度与多租户)。向上衔接 LLM-Training 第 7 章(训练基础设施与算力账)与 LLM-Inference(KV 显存账、精度阶梯、P/D 分离)——那两处讲"工作负载怎么用算力",本模块讲"算力本身长什么样"。机器可读的章节 ID、时效性事实与串联出边见 MANIFEST.md。