工程保障层 · Engineering Assurance

AI-Ops · LLM 可观测与运维

上线之后的日子怎么过:传统 APM 之外的两根新轴(质量、token 成本)→ 四大运维动作(在线评估 / 漂移巡检 / 发布管理 / 事故响应)→ 打包成可续费的「运营包」。位于「工程保障层」。边界纪律:网关计量引 AI-Gateway、离线评估引 Evaluation、GPU 利用率引 AI-Infra-Platform——本模块只讲三片之间的生命周期线。

本模块产出物:
· 讲义式 PPT:AI-Ops-讲义.pptx(主力成品,71 页,✅ 已完成)
· 精选电子书书单:电子书书单.md(10 项,活水源文档为主)
· 原始素材留痕:raw-data/(含 2026-07-10 联网核实笔记,时效性事实以此为准)

章节列表与状态

#章节要点状态
1为什么是新学科两根新轴(质量/token 成本)、静默退化、边界地图、观测自身的成本工程(遥测 10–50×、账单 +40–200%)✅ 已完成
2Tracing 与 OTel GenAIspan 四类(client span 已稳定)、一条 RAG 请求的 trace 旅程与排障三板斧、PII 三开关✅ 已完成
3在线评估与反馈回流与离线的分工、采样 5–10% 异步打分、评估漏斗四级、闭环三件套(告警/评审队列/数据集晋升)✅ 已完成
4漂移与静默退化三类漂移(含供应商静默换模)、全绿仪表盘为什么骗人、检测组合拳与日/周/月巡检节奏✅ 已完成
5发布管理提示词是生产工件:六件入册、评估门禁、金丝雀(必须跑自动评估)、回滚=改指针、环境与 A/B✅ 已完成
6事故响应AI runbook 四问、成本尖峰是第一信号、急停开关、HITL 三分级、事故分级与 SLA✅ 已完成
7工具格局与选型六平台锚定(Langfuse 2026-01 入 ClickHouse)、Braintrust/AgentOps、APM 系 vs 专用系分工、上云对照✅ 已完成
8售前速查运营包五件套(每件对应一章 + 报价口径)、指标速查卡(日/周/月)、选型速查卡、串联地图✅ 已完成
串联:本模块是工程保障层第五员,为「三片可观测」补生命周期线:
可增补方向:SLO/错误预算的 AI 化专章、多租户成本分摊与计费、观测数据的合规存储(与未来中国合规章联动)、AgentOps 深潜(长任务 agent 的专属运维)。将来任意加一章,沿用本模块每章结构即可。