LLM Observability & OperationsAI-Ops，可观测与运维

Datadog 管「挂没挂、慢不慢」很好，但「答得对不对」只有基础评估——200 OK 里可能装着胡说。质量轴需要评估型观测，两者互补不替换，trace id 打通。

预算敏感可用开源自托管（Langfuse/Phoenix）承接专用层——顺带规避「AI 遥测全量进按量 APM」的账单事故。

下一步　用分工表对客：APM 收聚合指标、专用系管质量与评审——「够看贵不贵，不够看好不好」。

依据　分工与选型

这就是静默退化——全绿但变笨。排查靠质量遥测：拉评估分趋势、对比模型版本与提示词变更记录、看漂移监测——没有这套东西，这类问题只能靠猜。

退化以「周」为单位缓慢发生，客诉爆发时已煮熟——质量必须成为和可用性并列的一等监控对象。

下一步　周报三个数字把玄学变仪表盘：judge 趋势、嵌入距离、回归集通过率。

依据　静默退化

能，而且是常态：API 背后的 checkpoint 会被静默更新，上月验收的模型不等于这月答题的模型。破法是您自己的回归集每周重跑——版本变没变，分数会说话。

回归集重跑是唯一能「证明」供应商换了模型的手段——这也是漂移巡检要持续收费的原因：基线断一个月就没了。

下一步　发现漂移的动作链：先查供应商公告、再查自己的发布记录；供应商侧用提示词补偿或锁版本，自己侧回滚。

依据　三类漂移

不拖慢：唯一同步的是毫秒级 inline 检查，质量打分全部异步——先回复用户后采样打分。判官有已知偏差，三重保险：定期人工校准、拿不准的进人工队列、关键决策不单靠判官分。

漏斗的灵魂是「越贵的手段处理越少的样本」——inline 全量、judge 采 5–10%、人工只看队列。

下一步　把数据集晋升讲成资产故事：每个生产失败被标注入集变成永久回归覆盖——越用越值。

依据　评估漏斗

因为一个词就能改变线上行为——删掉一句约束导致客服乱承诺是真实事故。流程不重：注册打 tag、门禁自动跑、金丝雀自动切，多花分钟级时间，换回滚和留痕。

LLM 金丝雀与传统的分水岭：必须在金丝雀流量上跑自动评估——坏的是答案质量，HTTP 全是 200。

下一步　演练一次 30 秒回滚：达不到秒级通常因为提示词硬编码在代码里——这就是要上注册表的原因。

依据　发布流水线

有，两层：急停开关（事故频道一键暂停所有任务、保留现场）+ 硬上限（步数/预算/ 权限边界超限自动中断）。恢复要走发布门禁，不会「手一抖又跑起来」。

成本尖峰常是第一信号：死循环/被注入先表现为 token 暴涨——成本告警要分钟级粒度；日账单粒度下死循环会烧一整天。

下一步　高危操作按 HITL 三分级定人机边界，放权路线图进方案书——放多快由评估数据说话。

依据　急停与分级

内容与结构分离处理：结构全量、内容采样并在采集点脱敏（正则+NER）、保留期分级、事故 trace 单独归档。观测系统按「第二数据库」的安全标准建。

观测系统常是数据泄漏的第二现场——一个手机号会出现在 span 属性、日志、评估队列三个地方；脱敏在采集点做，不在展示层。

下一步　埋点走 OTel 标准（整体仍 Development，封装一层跟进）——换观测后端不改埋点，不锁定。

依据　PII 三开关

管，这正是运营包：在线评估运营、漂移巡检、发布门禁、事故值守、数据集资产运营——五件套各有清单、SLA 与产出物，按月订阅或按 SLA 分级。

运营包是「人力账」的展开：不是售后服务是订阅产品——月度质量报告是续费价值的可见证明。

下一步　数据集资产归客户写进合同——「越用越值」的评估集是合作的复利。

依据　运营包五件套

分两根轴答，敢承诺的和不敢承诺的都当场说清——含糊过去的那部分，验收时一定回来找你。可用性轴照旧能签：可用性、延迟 P95、错误率，加上事故响应时效（P1 高危输出触达客户 15 分钟响应急停、P2 质量骤降或成本尖峰 1 小时降级、P3 漂移趋势 1 个工作日）。质量轴不签绝对分数：同一套系统换个语料、换个问法就是另一个数，何况供应商还会静默换 checkpoint——今天签的分数，下个月未必是同一个模型答的。质量轴改签三件守得住的事：不跌破基线、发现得了、止得住。

「准确率能保证多少」是运维方案里最贵的一个口误：承诺一个百分比，等于替一个你不控制的模型背书。换成「坏了多久能发现、多久能止住」，承诺的就是你真正控制得了的东西——流程、时限和证据，这恰好也是运营包在卖的那一半。

下一步　两件事一起启动：请客户和你共创 P1 的定义（什么算「高危错误输出」由业务定），同时先跑一段时间拿到质量基线——阈值从基线来，没有基线之前不谈线。指标与阈值本身怎么定，走Evaluation 的建集与指标设计。

依据　事故分级写进 SLA　·　全绿仪表盘为什么骗人

把两件事拆开答，客户常混着问。换观测平台：埋点按 OTel 标准写，工具只是可换后端——换后端不改埋点，应用代码不动，埋点与数据是您的资产，不是我们的。要提前看住的只有一条：合同里写清数据导出条款（这行业并购整合还在进行中，Langfuse 进 ClickHouse 就是信号）。换模型或换供应商：那不是观测要重做，那是走一次发布流程——回归集重跑给出「换完没变差」的证据，四层版本键里的生成层记下换的是哪一层。换模型是流程，不是冒险。

这题的答案决定客户敢不敢现在就开工：只要他觉得这套观测会把自己焊死在一家工具上，立项就会一直往后拖。讲成「埋点是资产、工具是可换后端」，决策从「选一个长期平台」降级成「先按标准埋起来」，阻力小一个量级。真正带不走的从来不是工具，是用某家私有属性埋的那一套——换家就得重埋，历史数据还对不上。

下一步　立项时把两句话写进合同：埋点按 OTel 标准、历史数据可整体导出。再把回归集当资产留住——换模型那天，它就是现成的验收工具。

依据　两个纪律　·　四层版本键

不签截图，签一次回放。验收标准就一句：任意一次质量或成本异常，都能回放出「哪个版本、哪里变化、为何放行、如何止损、怎样防复发」——五问答不出一个，就是没做到。展开成清单是六个「可」：可见、可复现、可评测、可治理、可发布、可恢复。验收会上直接演一遍：挑一条真实的低分或高成本 trace，用四层版本键定位是哪层在动，走一次回滚，再说出这次失败会怎么进回归集。

看板能打开只是联调，不是运营闭环。「观测做到位」不事前定义，最后就会验收成一堆仪表盘截图——装了很多东西，出事那天照样说不清。把验收从「有没有装」改成「异常能不能被回放和止损」，既签得下来，也顺手把运营包挂上了钩：每次真事故都在证明这五问答得出，续费理由不用另找。

下一步　把这条链写进验收条款，并约定演练用客户自己的真实 trace、不是演示数据——同时说清哪些数据、哪些权限要在那天到位。

依据　观测体系自身的验收：六个「可」　·　四层版本键