本模块产出物:
· 讲义式 PPT:
· 精选电子书书单:
· 原始素材留痕:
· 讲义式 PPT:
AI-Ops-讲义.pptx(主力成品,71 页,✅ 已完成)· 精选电子书书单:
电子书书单.md(10 项,活水源文档为主)· 原始素材留痕:
raw-data/(含 2026-07-10 联网核实笔记,时效性事实以此为准)
章节列表与状态
| # | 章节 | 要点 | 状态 |
|---|---|---|---|
| 1 | 为什么是新学科 | 两根新轴(质量/token 成本)、静默退化、边界地图、观测自身的成本工程(遥测 10–50×、账单 +40–200%) | ✅ 已完成 |
| 2 | Tracing 与 OTel GenAI | span 四类(client span 已稳定)、一条 RAG 请求的 trace 旅程与排障三板斧、PII 三开关 | ✅ 已完成 |
| 3 | 在线评估与反馈回流 | 与离线的分工、采样 5–10% 异步打分、评估漏斗四级、闭环三件套(告警/评审队列/数据集晋升) | ✅ 已完成 |
| 4 | 漂移与静默退化 | 三类漂移(含供应商静默换模)、全绿仪表盘为什么骗人、检测组合拳与日/周/月巡检节奏 | ✅ 已完成 |
| 5 | 发布管理 | 提示词是生产工件:六件入册、评估门禁、金丝雀(必须跑自动评估)、回滚=改指针、环境与 A/B | ✅ 已完成 |
| 6 | 事故响应 | AI runbook 四问、成本尖峰是第一信号、急停开关、HITL 三分级、事故分级与 SLA | ✅ 已完成 |
| 7 | 工具格局与选型 | 六平台锚定(Langfuse 2026-01 入 ClickHouse)、Braintrust/AgentOps、APM 系 vs 专用系分工、上云对照 | ✅ 已完成 |
| 8 | 售前速查 | 运营包五件套(每件对应一章 + 报价口径)、指标速查卡(日/周/月)、选型速查卡、串联地图 | ✅ 已完成 |
串联:本模块是工程保障层第五员,为「三片可观测」补生命周期线:
- 最强串联 — Evaluation:离线建集与判官方法在那边,在线采样运营在本模块,共享判分器定义——离线验收 × 在线巡逻(双向互指)。
- AI-Gateway:网关是数据源与统一采集层,本模块是消费与行动层,trace id 两层贯通(双向)。
- Security:事故响应「被攻破」章的防护弹药;PE:提示词版本化升级为发布工程。
- Solution-Patterns:运营包五件套 = SP「人力账」的展开——那边说要卖,这边说卖什么(双向)。
- Model-Landscape:供应商静默换模的回归验证是「保持可换」的运维面。
可增补方向:SLO/错误预算的 AI 化专章、多租户成本分摊与计费、观测数据的合规存储(与未来中国合规章联动)、AgentOps 深潜(长任务 agent 的专属运维)。将来任意加一章,沿用本模块每章结构即可。