01「我们已经有一堆模型了」:两种 AI 各管什么#pam-what-why
客户风控组的评分卡跑了十年——这句话不是异议,是一份资产清单。接住它的办法是按输出物分,别按新旧分:一个像体温计,读出一个数;一个像写手,交出一段内容。分诊只有一问:这个输出要不要拿去排序、卡阈值、结算?要,归预测式;不要,多半归生成式;两边都要,那就是接力,下面那笔刷卡走一遍就清楚。
六格摆开,「你们跟它什么关系」当场有答案
| 这一格 | 预测式 AI | 生成式 AI |
|---|---|---|
| 能力从哪来 | 在客户自己的历史数据上训出来 | 别人预训练好,你提示或微调 |
| 好坏怎么量 | 命中率、召回这类硬指标,有真值 | 靠判官或人审,真值常常没有 |
| 出错长什么样 | 分数慢慢偏,没人喊,静静地烂 | 答得离谱,一眼看得出 |
| 单次调用成本 | 自家机器上一次运算,可忽略 | 按 token 计费,量一大就贵 |
| 最大的风险 | 特征穿越,离线好看上线崩 | 幻觉、注入与内容合规 |
| 换供应商 | 换不了,模型是客户自己的 | 换模型是常态,选型另有一册 |
这张表最值钱的是「换供应商」那行:预测式那一侧客户换不掉,因为权重是他自己数据训出来的资产——这既是他不肯换的理由,也是你不该去碰它的理由。生成式那一侧的选型与价格不在本页,见下面的串联。
同一笔可疑交易,两种 AI 各站一棒
大模型接不了预测式的活,卡在三处
这三件事它在结构上做不到,跟能力强弱无关——客户提「为什么不直接让大模型预测」时,答这三条比答「效果不好」有力得多。
概率不是估的
它给的「85%」是生成出来的字,不是在你数据上估的。没有校准过,就没法按阈值排队、算期望损失——上一张图的第 2 棒直接失效。
没学过你的数
客户的申请表字段、内部风控规则,预训练里没有。塞进提示词只是这一次可见,学不进权重。
量一大就贵
每天几百万次打分,按 token 计费的形态撑不住;一次本机运算换成一次远程调用,延迟也不是一个量级。
反过来也一样
预测式读不懂合同正文,也说不出人话的理由。非结构化材料进来,先让生成式转成字段——这才是两边真正的分工线。
答不上这四句,模型就先别立项
这四句是立项会上最省时间的四句。答不上来比答错更值钱:它当场把「要不要做模型」变成「先做哪件事」。
| 先问这句 | 答不上来意味着 | 那就先做这个 |
|---|---|---|
| 这个分数给谁看,他会改做什么 | 模型再准也不会改变任何动作 | 先把那个动作和责任人找出来 |
| 有没有「后来真的发生了」的记录 | 没有标签,这题学不了 | 先把业务结果回收成记录 |
| 一条规则能顶多少 | 没有基线,说不清模型值多少 | 先上规则版,把它当标尺 |
| 跑起来之后谁来养 | 持续维护的成本会被严重低估 | 先算人和值班,别只算训练 |
「先上规则版」不是保守,是有出处的做法:Google《Rules of Machine Learning》第 1 条写的是别怕先发一个没有机器学习的版本,并写明若你认为机器学习能带来 100% 的提升,启发式规则能带你走完其中一半。核实 2026-08-02,来源 Google 官方工程指南。不可外推边界:这是经验法则,那「一半」不是任何具体项目的实测值,别拿去当承诺给客户。
第四句「谁来养」有一篇经典论文撑着:Sculley 等《Hidden Technical Debt in Machine Learning Systems》(NeurIPS 2015)论断真实世界的机器学习系统普遍会背上巨大的持续维护成本,风险因子包括边界侵蚀、纠缠、隐藏反馈回路、未申报的消费方、数据依赖与外部世界变化。核实 2026-08-02,来源 工程实践文献。不可外推边界:这是 2015 年的定性论述,不含任何成本比例或金额——报价时别说「论文说维护占几成」。
「是不是要建两个平台、招两拨人」
这是第一章现场必被追问的一句。答法:数据管线、权限审计、上线流程和值班可以合;训练算力形态和评估方式合不了。哪一层合得起来有一张分界表,见一套平台装得下生成式和预测式吗。人先合在一起,别开局就拆两支。
02算法取舍地图:表格、时序、排序、异常#pam-model-choice
客户问「你们用什么算法」,最不该做的是报一串模型名。正确答法是先把需求落进四种数据形状——落对了,算法就没什么可争的;落不进去,多半是题还没切开,那是下一节的事。这一节顺带给你三条公开基准结论,用来接住客户那三句最常见的话。
四种数据形状,各有一个不用解释的默认解
| 数据长什么样 | 先上什么 | 什么时候再往上走 | 怎么验收 |
|---|---|---|---|
| 一行一个样本的表格 | 梯度提升树(GBDT,Gradient Boosting Decision Tree) | 样本很少或特征极多时试基础模型 | 按时间切,别随机切 |
| 按时间排的销量、话务量 | 先做季节性朴素基线 | 多条相关序列一起学时上树模型 | 滚动时间窗回测 |
| 要挑出前 N 个去处理 | 还是树,但换指标 | 候选量极大时才上双塔召回 | 看前 N 名的命中率 |
| 几乎没有正样本的异常 | 先去找那 1% 的标签 | 确实一个标签都没有才上无监督 | 人工复核带宽定 N |
两处口径要记准:GBDT 的常见实现是 XGBoost、LightGBM、CatBoost,客户报哪个名字都落在同一格里;排序那行的指标写作 precision@k,k 就是客户每天处理得了的条数,不是一个可调的超参。
想上更新的算法,先过这三道门槛
客户那三句话,公开基准早就正面回答过
「深度模型赢了」
TabArena 活体基准的结论:梯度提升树在实用表格数据上仍是强对手;深度学习方法要在更大时间预算下配合集成才追上;基础模型在小数据集上表现突出;跨模型集成才是当前表格机器学习的最好成绩。
「时序还是统计稳」
M5 零售销量预测竞赛是第一次所有顶尖方法都是纯机器学习方法、且显著优于全部统计基准及其组合;前 50 名几乎全部采用按门店或品类训练的 LightGBM 且全部跨序列共学;获奖方案在 WRMSSE 上平均比 24 个基准好 20% 以上,冠军本身是 6 个模型的等权平均。
「没标签只能无监督」
ADBench 跑了 30 个算法 × 57 个数据集:被测无监督算法之间统计上谁也不比谁强;只要 1% 的标注异常,多数半监督方法就能超过最好的无监督方法;受控环境下针对特定异常类型的最佳无监督方法可反超半监督与全监督。
这三条改变的动作很具体:客户说「先上深度模型」,你把预算谈成「先用树立基线,省下的时间做切题」;客户说「一个标签都没有」,你把第一期做成凑那 1% 标签的工程,而不是直接交一个没法验收的无监督方案。
TabArena 为 NeurIPS 2025 数据集与基准赛道 Spotlight(arXiv:2506.16791 v4,2025-11-03);表格基础模型的规模上限按 Prior Labs 官方文档:TabPFNv2 为 1 万样本 / 500 特征 / 10 类,TabPFN-2.5 与 2.6 为 10 万样本 / 2000 特征,TabPFN-3 与 TabPFN-3-Plus 为最多 100 万行、最多 2000 列(行列上限此消彼长、不能同时取满)、原生 160 类,2026-09 新出的 TabPFN-3.5 系列为 100 万行 / 2 万列。核实 2026-10-20,来源 表格模型基准与官方文档。不可外推边界:TabArena 是公开精选数据集上的排名,不代表客户数据上的名次;那几个规模上限只说跑得动多大,不代表在该规模上压得过树,也不含耗时与显存。
M5 结论出自竞赛组织方的官方总结论文 Key findings 一节;ADBench 为 NeurIPS 2022 数据集与基准赛道论文。核实 2026-08-02,来源 竞赛总结与异常检测基准。不可外推边界:M5 是零售销量单场竞赛的结论,不能外推到所有时序场景;ADBench 那个 1% 是公开数据集上的平均结论,不是保证——客户拿不出这 1%,方案就得改口径。
「我们的需求落不进这四格」
多半是题还没切开。先说清一行代表谁、站在哪一刻判断、往后看多久算发生,切完通常就落进某一格。真落不进,先做规则版,别硬凑模型。
03把业务问题切成可学的题:预测时点、标签窗口、样本单元#pam-problem-framing
「预测客户会不会流失」不是一道题,是十几道。这句话里缺四样东西,补齐了才有得学——而且这四样一变,样本量、正样本比例、上线方式全跟着变。算法选对照样会崩,题切错了后面全白做。
三段时间轴,画错一段模型就在偷看未来
同一句「预测流失」,四种切法切出四道题
| 切法 | 样本单元 | 预测时点 | 这道题回答什么 |
|---|---|---|---|
| 每月一评 | 客户 × 月 | 每月 1 日零点 | 这个月该给谁发挽留券 |
| 合同到期前 | 一份合同 | 到期前 30 天 | 续约谈判该先谈谁 |
| 行为触发 | 一次投诉 | 投诉发生后 1 小时 | 这通投诉要不要升级 |
| 新客早期 | 客户 × 首月 | 注册后第 7 天 | 新客引导该盯哪些人 |
四道题的样本量、正样本比例、上线方式全不同,报价也不同。现场先问一句「这个分数谁在什么时候看」,客户答完,四行里落哪一行当场就定了——这比讨论算法快十倍。上表的时点与天数同样是举例。
标签是等出来的,等多久直接写进 POC 排期
这是预测式项目最容易被低估的一项成本,也最容易在排期会上翻车。它和数据标注不是一回事:标注的成本在人力,标签成熟的成本在时间,加人加不快。
成熟期定周期
标签窗定 60 天,就得等 60 天才知道答案。POC 两周要出结论,只能改用更早的历史切片,让窗口在过去已经走完——代价是那段时间的业务环境和现在不一样,这句话要提前说,不要等验收时才说。
半熟的会骗人
窗口没走完就统计,正样本比例天然偏低,看着模型很准,其实只是答案还没揭晓。表现是越近的月份看着越「好转」——见下面症状表第三行。
有些永远等不到
被拒贷的人到底会不会违约,你不会知道。这叫拒绝推断(reject inference),常见做法是留一小撮随机放行做对照来估被拒人群的真实表现,代价是这一小撮要认下真实损失。没有这块对照,模型只会越来越像现有规则。
离线亮眼、上线掉一截,症状全在这四行
这四种在训练集上一个都不报错,只有上线那天才显形——所以它们不是「调参没调好」,是题切错了。
| 症状 | 真正的病因 | 上线后表现 |
|---|---|---|
| 某个特征强得离谱 | 它是结果不是原因,预测时点之后才有 | 线上根本取不到这个字段 |
| 离线分数高得不像真的 | 同一个客户同时进了训练集和测试集 | 上线掉一截,阈值全部要重定 |
| 正样本比例逐月跳 | 标签窗还没走完就统计 | 越近的月份看着越「好转」 |
| 模型只认老客户 | 只用现存客户建样本,走掉的没进来 | 对流失边缘完全无感 |
前两行从源头堵住的办法是时间点正确的取数,那是特征的时间语义整节在讲的事,也是本页公认的头号事故源。现场遇到「离线测出来很漂亮,为什么上线掉一大截」,先按这四行对号,别先去动模型。
指标不是挑出来的,是被容量和成本逼出来的
| 客户的约束 | 指标该定成什么 | 先问他这句 |
|---|---|---|
| 容量上限:每天只能打 500 通电话 | 看前 500 名的命中率——AUC,Area Under the Curve 排得再好,第 501 名也轮不上 | 这个 500 是硬上限还是能加人 |
| 成本不对称:漏放一笔欺诈比误报一笔贵得多 | 写成「误报率不超过 X 时的召回」 | 误报一笔的处理成本是多少 |
| 极端不平衡:正样本千分之一 | 改看 PR 曲线,Precision-Recall,或按分位数看提升——全判成负也有 99.9% 准确率 | 这个千分之一是全量还是筛后 |
上表的 500 和千分之一都是举例。这三行合起来是一句对客的话:验收线由客户的处理容量和错判成本定,不由我们挑指标定——先把这两个数问出来,验收争议在立项那天就消掉一半。
Google《Rules of Machine Learning》第 4 条:先把第一个模型做简单,把基础设施做对(Keep the first model simple and get the infrastructure right)。核实 2026-08-02,来源 Google 官方工程指南。不可外推边界:这是工程经验法则,一个阈值都不含——标签窗该多长、前 N 名的 N 该多大,它一个数都给不了,只能由业务动作和客户当天的处理容量定。
04特征的时间语义:穿越与训练服务偏差#pam-features-time
「离线 0.95、上线 0.7」这句话,十有八九不是模型的问题,是取数的问题:训练时看见了预测那一刻看不见的数据。这是本册的头号事故源,也是唯一一类只让分数变好、不报错、不抛异常的错——交叉验证也查不出来,它切的是行,不是时间。
取数纪律:把自己放回预测发生的那一秒
规矩只有一条——那一刻取不到的数据,训练时也不许取。展开是五步:
事情发生的时间,不等于你知道它的时间
同一条记录挂着两个时间,训练时用错哪个都会翻车。
AWS 的托管特征库把这层语义做成了默认字段:离线库自动给每条记录附加 api_invocation_time(服务收到写入调用的时间)、write_time(记录写入 S3 文件的时间,官方注明这不一定是可查询的时间、记录也不一定按它的顺序变得可查)与 is_deleted,事件时间则由用户自建的时间列提供。核实 2026-10-20,来源 AWS 官方文档 · 离线库数据格式。不可外推边界:这是 AWS 一家的字段设计,别家命名与语义不同,看到「有时间列」不等于看到同一件事。
同一个样本,两种取数口径差多少(举例)
| 特征 | 落库延迟 | 按事件时间取(穿越) | 按落库时间取(可用) |
|---|---|---|---|
| 近 7 日交易额 | T+0 实时流 | 6/10 09:00 前全部到手 | 同左,这行不穿越 |
| 征信查询次数 | T+5 天 | 用了 6/10 当天的值 | 只能取 6/5 之前那版 |
| 客户分层标签 | 月度覆盖更新 | 读到 7 月改后的口径 | 要取 6 月那版快照 |
| 近 30 日逾期 | T+1 日 | 含 6/10 当天记录 | 截到 6/9,少一天 |
预测时点举例定在 6/10 09:00,表内日期与延迟都是举例数字。逐行算一遍就有了一句能拿去客户会上说的话:离线拿 4 行喂模型,上线那一刻真到手的只有 1 行,虚增的就是这 3 行。真实系统的写入窗口按官方口径查——特征平台一节登记了一个具体数字。
穿越有五种长相,只有一种叫「用了未来数据」
| 长相 | 典型现场 | 一招查法 |
|---|---|---|
| 目标泄漏 | 特征里混进了标签的代理量 | 单独拿这一个特征训一版,分数也高得离谱 |
| 时间穿越 | 取了预测时点之后才有的数据 | 改按时间切分,分数立刻掉 |
| 口径回填 | 维表被覆盖更新,历史被改写 | 查这张表有没有历史版本 |
| 分组泄漏 | 同一用户同时在训练集和测试集 | 改按用户切分再评一次 |
| 预处理泄漏 | 在全量上算均值再切分 | 把标准化挪进交叉验证里面 |
五种里只有第二种是「时间」问题,其余四种在没有时间维度的数据上照样犯——别把泄漏排查简化成「加个时间过滤」。这张表说的是取数与切分层面的泄漏;微调实验里那一族(近重复没扫、冻结切分哈希、多 seed 报区间)在 Fine-tuning 一册,不重讲。
分数好得反常,就按这五步查
同一套特征走两条路径,必然会漂
训练服务偏差(training-serving skew)是穿越之外的第二个坑:训练时算出的特征值,和线上算出的对不上。为什么必然——训练是数仓里一条 SQL 跑全量,线上是一段代码在请求里现算,两套代码、两种空值处理、两个时区。像两个厨子照同一张菜谱:一个用秤,一个凭手感,菜名一样,端上来不是一道菜。对齐只有三招半,代价各不相同:
| 做法 | 怎么保证一致 | 代价 |
|---|---|---|
| 共用一份转换代码 | 训练与线上引用同一个库 | 要能在两种引擎里跑 |
| 拿线上日志训练 | 线上真实算过的值就是训练集 | 新特征得等日志攒够 |
| 交给特征平台 | 离线在线同源,物化保证一致 | 多一套系统要运维 |
| 只监控不统一 | 每天比对两侧同一批样本 | 查得出,止不住 |
第二招出自谷歌《Rules of Machine Learning》第 29 条:把服务时用过的那组特征打进日志、再拿去训练,是保证「训得像服务」最稳的办法;同文把训练服务偏差的成因分成三类——训练与服务管线处理数据的方式不同、训练与服务之间数据变了、模型与算法之间存在反馈回路。核实 2026-08-02,来源 Google for Developers · Rules of Machine Learning。不可外推边界:这是工程原则,不含任何阈值,也不代表日志回流适合所有新特征——新特征上线前根本没有历史日志可训。
这一章保证的是分数可信,不是模型可用
不保证效果
时点正确只是让离线分数不虚高。修对之后掉下来的那个分,才是真实水平——这句话要提前跟客户说,否则修完就成了「你们把模型搞坏了」。
平台不等于一致
特征平台保证两边读同一份存储,转换代码不同照样能算出两个值。哪个字段是标签的代理量,它更是一概不知。
日志回流有冷启动
新特征上线前没有历史日志可训。要么先影子跑一段攒日志,要么先回补历史。
漂移归下一环
这里管的是「训练那天对不对」。上线之后数据变没变、要不要重训,是上线之后那一节的账。
对客的收口话术只有三句:训练集是否按时间切分、每个特征有无落库延迟记录、有没有用上线当天真实拿到的特征重放过。第三件最硬,答不出就别谈离线分数。
05特征平台:什么时候才真需要#pam-feature-store
客户问「要不要上特征平台」,答案不在功能表里,在他有几个团队。它管四件事:登记口径、复用成品、离线在线一致、把上一节那套手写取数做成现成功能。像公司食堂——一个团队一个灶时没必要,几个团队各买各的菜、各有各的盐罐,才轮到它。
一份特征,两个库,中间靠物化连着
训练要读全历史,推理要几毫秒出结果——一套存储做不到,所以是两个库一张账。
AWS 的托管特征库写入后先缓冲、批量,在 15 分钟内写入对象存储上的离线库;离线库只支持 Parquet 文件格式,表格式可选 AWS Glue(默认)或 Apache Iceberg。国内侧,阿里云 PAI 的特征库自动完成在线表与离线表的构建并保证两侧一致:离线对接 MaxCompute,在线可经 Flink 处理后写入 Hologres、Tablestore 或自研的 FeatureDB。核实 2026-08-02,来源 AWS 与阿里云官方文档。不可外推边界:15 分钟是离线库的写入窗口,不是在线库的读延迟——这一条最容易被读反,客户会上说错方向就成了「你们的特征库要等一刻钟」;国内那条是平台形态描述,不含延迟与配额,选型仍需实测。
先数这五个数,再决定要不要买
特征平台是拿运维负担换复用收益,数不够就是净亏。
| 看什么 | 该上的信号 | 先别上的替代做法 |
|---|---|---|
| 模型数 | 多个模型共用同一批特征 | 一两个模型,一张宽表够了 |
| 团队数 | 多个团队重复造同一个特征 | 一个团队,共享代码库即可 |
| 实时性 | 线上要毫秒级读实时特征 | 全批式打分,直接查数仓 |
| 一致性事故 | 已经吃过训练服务偏差的亏 | 没吃过,先做特征日志比对 |
| 合规追溯 | 要复现三个月前的训练集 | 先把取数脚本和快照存好 |
五行里三行以上落在中间那列,才谈得上买;只落一两行,先用「共享转换库 + 特征可用时刻表」顶着——省下的运维人力,多半比平台省下的算力值钱。这张表的用法是当着客户逐行打分,不是发一份材料让他自己看。
它不替你做的事,比它做的更该讲清楚
不是数据管线
不做通用的清洗加工,也不编排任务依赖。上游还得靠数仓和调度器把值算出来。
不是数仓
它是数仓下游的一层轻量服务壳,不是组织里那份权威加工数据的存放地。
不保证特征有用
它管口径一致,不管这个特征有没有预测力。特征做得对不对,还是上一节那套判断。
不管标签
标签什么时候成熟、要等多久,它一概不知。这条直接决定试点周期,见切题那一节。
这四条不是评述,是 Feast 官方文档里专门列的一节「Feast 不是什么」:不是通用数据管线系统、不管理或编排复杂工作流、不是数据仓库也不是组织内加工数据的权威存放地、不是数据库;它把自己定位成数仓下游的一层轻量服务层,核心卖点之一正是生成时点正确的特征集以避免数据泄漏。核实 2026-08-02,来源 Feast 官方文档。不可外推边界:这是 Feast 一家的定位声明,不代表所有特征平台的边界都划在同一处。
买托管之前,先查两件事
一件是产品还能活多久,一件是「时点连接」这项能力到底是内建的还是要自己搭——这两件都决定了三年后谁在为口径迁移买单。
谷歌云的 Vertex AI Feature Store(Legacy)已弃用:官方通告写明自 2026-05-17 起不再新增功能、只提供关键补丁,2027-02-17 完全退役且接口下线,去处是 2023-11-17 推出的 V2 版本或按官方指南迁到 Bigtable。能力侧,Azure 机器学习的托管特征库支持时点连接(官方也称 time travel)来避免数据泄漏;Databricks 侧的对应能力靠在特征表上声明时间列,且时序特征表须恰有一个时间键、不能带分区列。核实 2026-08-02,来源 Google Cloud、Microsoft Learn 与 Databricks 官方文档。不可外推边界:退役表只针对 Legacy 版,V2 的能力与配额另算,别家产品也不同期;「支持时点连接」只证明能力存在,不代表默认开启或性能达标——它按你给的那个时间列算,列给错了照样穿越。
特征这一层定了,接下来是模型本身:从一次实验走到线上,中间隔着哪几道门。
06从实验到生产:实验记录、注册表与发布门#pam-lifecycle
客户问「模型在哪」,其实是在问四样东西:代码提交号、训练集快照、特征定义版本、运行环境。缺任何一样,「重跑一遍」都做不到——那这个模型就是一个来路不明的二进制文件。复核、定责、换人接手,问的全是这四样。
实验记录是写给三个月后的自己看的
手抄表格撑不过第二十次实验,自动记录才撑得住。判断一套实验记录合不合格只问一句:三个月后能不能只凭它把结果跑出来。
从「阶段」改成「别名」,改的其实是回滚方式
注册表最常见的一次语义改动,正好当例子讲——它改的不是界面,是回滚这个动作本身。
| 用法 | 语义 | 回滚怎么做 |
|---|---|---|
| 阶段(stage) | 一个版本同时只能处在一个状态 | 把上一版拖回 Production |
| 别名(alias) | 一个别名指一个版本,可随时改指 | 把 champion 指回旧版本 |
| 为什么要改 | 一版多用途时,状态机不够用 | 改指针,不用重训重发 |
别名的好处是能让 champion 和 challenger 两个指针同时指向不同版本,灰度与对照不用再造第二套状态。对客那句话是:出了问题回滚是分钟级——前提两条,旧实例拉得起来、依赖的特征定义没被改过;两条不成立,回滚就成了重新发布,按小时算。
MLflow 自 2.9.0 起把模型注册表的四阶段(None / Staging / Production / Archived)标为弃用、将在未来某个大版本移除,官方替代是模型版本别名与标签,理由是这套状态机对流程「过于死板」,而别名允许同一版本挂多个、可随时改指。另一侧,AWS 的模型注册表用的是三态批准字段——PendingManualApproval / Approved / Rejected,可由接口、控制台或流水线中的条件步骤更新。核实 2026-08-02,来源 MLflow 与 AWS 官方文档。不可外推边界:弃用不等于已移除,旧接口在当前版本仍可用,别拿它去劝客户马上改造;批准状态字段只记录流程走到哪一步,不代表模型质量已被验证。
上线前的三道门,是预测式自己要过的
「离线指标过线就发」是这条路上最贵的一条捷径。
客户常问「新模型明明更好,为什么还要跑影子期」——离线比的是历史数据,影子比的是今天真实进来的请求,差最多的一处就是特征取数:线上有超时、空值、降级,离线表里都没有。
影子测试的具体规格以 AWS 为例:影子变体接收从生产变体复制来的一定比例请求但不返回任何响应,一个端点最多挂一个影子变体、且此时最多一个生产变体;时长默认 7 天、最短 1 小时、最长 30 天,测试结束端点自动恢复原状;Serverless 推理、异步推理、多模型端点、多容器端点、Marketplace 容器与 Inf1 实例的端点不支持。核实 2026-08-02,来源 AWS 官方文档 · 创建影子测试。不可外推边界:7 天与 30 天是 AWS 一家的默认值与配额上限,别家做流量镜像的规格与限制不同,报方案前逐项复核;影子只比得出预测值的差异,比不了业务结果。
流程挡得住草率,挡不住这四件事
发布门是过滤器,不是保险。四个洞得当着客户说清,否则第一次出事就是「你们不是说走了流程吗」。
不保证可复现
库版本、显卡算子、归约顺序都会让结果有微差。记录只能定位差异来源,消不掉它——严格复现要锁死镜像和种子,代价是升级变慢。
对答案要等真值
双跑和影子只比得出预测值的差异。谁更准要等标签成熟,那是切题那一节的账。
门禁不管标签
标签打错了,三道门全绿也是错的。标注这件事的成本账在 Data-Engineering 一册。
不覆盖生成式
两条流水线可共用同一套注册表,但门禁读的不是一回事:预测式看分群不退化,生成式看评估集通过率与判官打分。别把两套门槛混进同一份验收。
国内落点上,阿里云 PAI 在同一工作空间内提供两件对应能力:「AI 资产管理 > 模型」支持把训练好的模型注册进来、按版本持续更新并直接部署,部署配置自动透传;Model Gallery 创建微调训练任务时可关联新建或已有实验,任务的超参等元数据、指标与输出模型统一落在实验输出路径下。核实 2026-08-02,来源 阿里云帮助中心。不可外推边界:这只说明「注册」与「实验关联」两件事存在,不等于一套完整的实验跟踪与发布门禁,其余环节要逐项自查。
07上线之后:七类信号、七种动作与再训练触发#pam-monitoring
客户的抱怨永远只有一句「模型不行了」。这一句话底下是七件事,动作各不相同:有的该修管线,有的该对口径,有的连「变差了」都还没有证据。先把这句话分成四组,动作才有着落——分不出来,最常见的结局是花钱重训一个其实没坏的模型。
七类信号按「要不要等真值」分两层
不用等标签的四类,先把它们排除掉
| 信号 | 它说明什么 | 看什么证据 | 第一动作 |
|---|---|---|---|
| 数据质量故障 | 上游断了、字段变空、类型变了 | 空值率、越界率、类型错误率 | 修管线,别重训 |
| 训练服务偏差 | 同一特征两条路径算出两个值 | 线上特征回放对训练值 | 对齐口径,见特征的时间语义 |
| 输入漂移 | 进来的人群变了 | 分布距离超过阈值 | 先看是不是活动或季节 |
| 预测漂移 | 模型给的分整体挪了 | 打分分布对验证集 | 顺藤查输入,不急动模型 |
多数告警查到这一步就解释完了。四类都不必等真值,也都不必碰模型。
剩下三类必须等标签,等不起就别承诺
| 信号 | 为什么必须等真值 | 标签从哪来 | 第一动作 |
|---|---|---|---|
| 性能下降 | 没有真值就只是猜 | 业务结果自然回流 | 按成熟期分批算,别抢跑 |
| 概念漂移 | 变的是 X 与 Y 的关系 | 同批样本新旧对照 | 确认后重训,换新窗口 |
| 反馈与选择偏差 | 被拦下的样本没有结果 | 留一小片随机放行 | 先补样本,再谈重训 |
真值来得慢,是预测式和生成式最不一样的一处。标签成熟期直接决定 POC 周期——客户说「三个月才知道结果」,那就是排期,不是借口。这里说的标签是等出来的,成本在时间;人去打的标注是另一件事,成本在人力。越准的模型盲区越大:被它拦下的样本永远不会产生结果,随机放行那一小片是唯一的补救。
分清两个记号,才知道哪一种漂移真的伤人
输入变了
记号 P(X):进来的人群变了,X 与 Y 的关系没变。模型可能照样准,这叫协变量漂移。
关系变了
记号 P(Y|X):同样的人,结果不一样了。这是概念漂移,模型一定失准,且只有真值能证实。
输出变了
打分分布整体挪了,是果不是因。顺着它往上游查,别直接归因到模型。
客户会上最值钱的一句就是这个区分:变的是「谁进来」还是「同样的人结果不同」——只有后者必然让模型变差。
标签没到的那几个月,性能可以估,但估不了概念漂移
它能做什么
用模型自己的置信度反推混淆矩阵,估出这段时间的准确率、召回率。开源代表实现是 NannyML,方法叫 CBPE,Confidence-Based Performance Estimation。
靠什么成立
概率要校准得住,样本量要够大。本质是「输入变了、关系没变」时的补偿。
什么时候骗你
官方原话是概念漂移下这套估计不成立。越是你最想知道答案的时候,它越不能用。
阈值不是查出来的,是定出来的
| 常见口径 | 默认怎么定 | 它假设了什么 | 你该怎么改 |
|---|---|---|---|
| PSI 0.1 / 0.25 | 低于 0.1 算稳,0.25 以上算大变 | 与样本量无关的经验常数 | 按自家历史波动定带宽 |
| 参考集 ≤1000 行 | KS 检验、卡方检验,p≤0.05 | 样本少,靠假设检验 | 别在小样本上追单个特征 |
| 参考集 >1000 行 | Wasserstein 或 JS 距离 ≥0.1 | 样本多了检验会必然显著 | 改用距离,阈值自校 |
| 托管监控的信号 | 多种度量可选,阈值自填 | 平台默认不替你下结论 | 按特征重要性挑前 N 个 |
PSI,Population Stability Index(群体稳定性指数)的 0.1/0.25 出自 1994 年信用评分实务,不随样本量调整:样本大了到处报警,样本小了该报不报。客户要「行业标准阈值」时,能给的答案是拿自家历史数据跑出正常波动带,再往外放一档。
Evidently 默认切换规则与 PSI 阈值来历核实 2026-08-02,来源 Evidently 官方文档与 PSI 阈值统计评述。不可外推边界:表里第二、三行是 Evidently 这一个工具的默认值,不是业界统一标准;PSI 的两档是对来历与统计缺陷的评述,不是替代阈值的推荐值——照抄任何一档之前先看它假设了什么。
重训排在最后一位:告警到动作的五步分诊
「告警响了,先别急着重训」分诊器
勾上你观察到的现象,得到四样:它属于七类信号里的哪一类、第一动作是什么、五步分诊该停在第几步、以及重训之前还有哪几步没排除。判据全部取自本节的两张信号表与五步分诊图,不新增事实。
「监测到漂移就自动重训」,是这一章最贵的一种错
追噪声
漂移不等于变差,分布挪了模型照样准的情况很常见。重训的代价是真的,收益是假设的。
抢标签
标签没成熟就重训,等于拿噪声去追噪声。新模型看着好,只是因为它拟合了半熟的那批。
学故障
上游数据坏掉的时候重训,会把故障学进模型。这时候正确的动作是冻结,不是更新。
客户问「多久重训一次算正常」,按日历重训是最贵的默认答案。该定的是评估节奏:标签成熟一批评一批,指标越线且归因到关系变了才动模型。这句话要写成一份触发条款,让不写模型的人也能照着执行。
云替你盯得住哪几类
不用等标签的那四类,云上开箱就有——前提是推理的输入和输出真的落了库;真值那几类云盯不了,它不替你等标签,也不负责回灌。托管件本身还会退场:AWS 官方文档已写明 SageMaker Model Monitor 不再向新客户开放、改荐开源方案自建,Azure 侧的模型性能与特征归因漂移两个信号当日仍标 preview。监控管线别绑死在一个托管件上,迁移计划一直在你这边。
监控服务形态与无真值期估计前提核实 2026-08-02,来源 Azure 与 AWS 监控文档、NannyML 官方文档。不可外推边界:服务名是当日快照、按 30 天一查的节奏保鲜,不代表三家云能力对等,也不代表形态不变;CBPE 这类无真值期估计在概念漂移下不成立,只能当预警,不能当验收依据或替代真值。
08可解释、公平与模型风险管理#pam-governance
「模型太复杂,说不清」在评审席上不是解释,是自认没管住。卡住上线的常常不是精度,是解释和留痕——进不了独立验证,出了事复盘不了,项目就停在这一关。
全局解释和局部解释,回答的是两个问题
| 问题 | 谁在问 | 常用做法 | 它答不了什么 |
|---|---|---|---|
| 模型总体看什么 | 风控与业务 | 全局特征重要性 | 单笔为什么被拒 |
| 这一单为什么被拒 | 被拒的人、客服 | 局部归因(SHAP,SHapley Additive exPlanations) | 改什么就一定能过 |
| 改哪一项才能过 | 客户运营 | 反事实解释 | 这一改是不是真因 |
| 模型学到因果没有 | 没人该这么问 | 三种都答不了 | 因果要靠实验设计 |
客户把这三种混着说,你得先分开:问法不同,做法也不同。第四行是防守用的——有人拿归因图当因果证据讲,当场要拦住。
归因值是分账,不是原因
它算的是什么
把预测值与基线的差额,按各个特征分摊成一份账,加起来正好等于那个差额。仅此而已。
它的两处失真
特征相关时,同一份贡献在几个特征之间怎么分是任意的;采样还会造出现实中不存在的特征组合。
能写进理由吗
能写「主要影响项是这三个」;不能写「改了它就能过」——后半句是因果承诺,这类方法给不了。
对客的分寸就在这一句里:归因结果作为主要影响项可以发给被拒的人,作为整改建议不行。据此承诺整改效果,翻车的是你。
三个公平定义,数学上不可能同时满足
| 公平定义 | 它保证什么 | 谁最在意 | 选它要付什么 |
|---|---|---|---|
| 校准性 | 同一个分对应同一个真实概率 | 建模方与业务 | 两群的错判率会不等 |
| 假阳性率均等 | 不该被拦的,各群被拦得一样少 | 被误伤的一方 | 分数不再可直接横比 |
| 假阴性率均等 | 该被抓的,各群漏得一样少 | 风险与合规 | 要牺牲另外两项 |
客户说「公平性我们全都要」,答案是数学上不行,不是工程做不到。能做的是把三个定义摆出来,跟业务一起先选一个主口径,再把另外两项的代价写进方案。
公平不可兼得与归因局限核实 2026-08-02,来源 Kleinberg 等 2016 与 Shapley 值因果分析等论文。不可外推边界:不可兼得是数学结论——除非各群基础率相同或预测完美,三者不能同时成立——它不指示哪个定义在具体业务里更合适;归因失真是这类方法的固有局限,不代表所有实现都同等失真。
模型风险管理这套老规矩,2026 年 4 月刚换了一版
客户说「我们不是银行,这套要不要做」,答案是这套动作可以裁剪:模型清单、三件验证、独立挑战三样带过去,评审会好过得多。至于「我们那套规则引擎算不算模型」,现行口径把模型定成用统计、经济或金融理论把输入变成定量估计的方法,纯算术和确定性规则不算——规则引擎多半在外,树模型一定在内。
SR 26-2 换版与适用范围核实 2026-10-20,来源 美联储 SR 26-2 通知页与指引全文。不可外推边界:这是主要适用于总资产超 300 亿美元美国银行的监管口径,不是通用企业合规要求;对非金融客户,它是可借鉴的方法而不是必须遵守的条文。
客户风控部门会要的三张纸,提前备好
模型卡
用途、不适用场景、评估口径、按人群分组与交叉分组的表现——2019 年那篇论文定下的格式。「不适用场景」那一栏写不出具体条目,这张纸就是白纸。
独立验证报告
做验证的人不能是建模的人,这一条是硬要求。它签的是「这个模型能用」,不是「这个模型准」;补起来比想象中慢。
再训练记录
每次重训因为什么触发、换了什么数据、验了什么。没有这本记录,前两张纸过一次就作废。
这三样是工作量,报价时要算进去,别当赠品送。合规条目、法条时点与备案范围不在这一章——那些各有主场,现场别现编。
模型卡格式核实 2026-08-02,来源 Mitchell 等 2019 年模型卡论文。不可外推边界:模型卡是一种文档格式建议,不是任何监管强制模板;照它写不等于满足某地某行业的报送要求。
09一套平台装得下生成式和预测式吗#pam-platform
客户已经买了一套 AI 平台,问预测式这摊能不能塞进去。答「能」和答「不能」都不对,要分层答——三家云自己也没合完。把交付拆成六层,一层一层问「这是不是同一件事」,结论就摆得出来了。
六层分界:能整层共用的只有两层
| 环节 | 预测式 | 生成式 | 能不能共用 |
|---|---|---|---|
| 数据准备 | 特征表、时间语义 | 文档切分、向量库 | 不能,两条管线 |
| 构建 | 训练出一份权重 | 写提示词、搭检索 | 不能,产物不同 |
| 登记与版本 | 权重加特征口径 | 提示词加检索配置 | 能,同一个注册表 |
| 发布门禁 | 离线指标过线 | 评估集过线 | 能,同一套流程 |
| 在线服务 | CPU 可跑,天然可批量 | GPU、按 token 计费 | 不能,成本结构不同 |
| 监测 | 有真值,但要等 | 无真值,看输出 | 只共用采集层 |
这张表是本册对客频率最高的一张,能当着客户的面从上往下讲完,每个「不能共用」都说得出是因为什么不同。向量库与文档管线、集群与 GPU 各有主场,这一节只讲两边的接缝。
共用得最好的是登记这一层
登记的是什么
不是权重文件,是「这一版到底由哪些东西组成」。预测式登权重加特征口径,生成式登提示词加检索配置——要登记的其实是同一件事。
现成的证据
MLflow 这类工具已经把两类放进同一套追踪与注册表:同一套工具既管 transformer 训练管线,也管多智能体 RAG 系统。
共用的好处
审计问「上个月给客户的那一版是什么」,一处能答。权限、留痕、回滚都只做一遍。
合不了的是算力和服务形态
预测式怎么跑
CPU 就能跑,天然可以批量,延迟量级看实测。容量按每秒请求数规划,弹性好做。
生成式怎么跑
要 GPU,按 token 计费,显存占用随上下文涨。容量按并发与上下文长度规划。
混着调度的后果
预测式作业排在大模型队列后面,GPU 又被小作业切碎。共用集群省下的钱,常被排队和碎片吃回去。
客户最容易在这一层以为能省钱,其实是两套容量模型。先做分区和配额,把两边跑稳,再谈合池。
两边都说「漂移」,指的不是一件事
| 问的问题 | 预测式(本册) | 生成式 |
|---|---|---|
| 有客观真值吗 | 有,只是要等 | 多半没有,靠判官打分 |
| 什么在变 | 输入分布、X 与 Y 的关系 | 供应商权重、输出风格 |
| 靠什么发现 | 分布距离、成熟真值上的指标 | 嵌入距离、判官持续打分 |
| 动作是什么 | 补数据、对齐口径、必要时重训 | 换版本、改提示词、加护栏 |
这是最容易在客户会上谈岔的一处,先声明口径再往下说:AI-Ops 那一节讲的是无真值的那一种,上线之后那一节讲有真值的那一种。采集层可以共用,判断方法不共用。
客户问「能不能一套搞定」,先答治理面
先合治理面
登记、发布门禁、权限、审计留痕四项。越早合越省,这四项合起来几乎没有额外代价。
别急着合算力
先分区、分配额,跑稳了再谈合池——省下的钱要跟排队和碎片的损耗对账。
厂商自己也在挪
Azure 侧预测式主场是 Azure Machine Learning、生成式主场是 Microsoft Foundry,微软官方还得专门出一篇「该用哪个工作室」的指引。方案别写死在产品名上。
客户问该先做哪件事:把两种模型登进同一个注册表,把发布门禁和审计留痕统一。这一步几乎没有额外代价,也是后面谈合算力时唯一站得住的基础。选云也别按产品名选,按你们的登记与审计能不能一处满足来选。
注册表可共用与微软两个门面的分工核实 2026-08-02,来源 MLflow 官方文档与 Microsoft Learn 平台说明。不可外推边界:只说登记与追踪层可共用,算力与服务层另算;微软那条分工只反映其当前产品划分,服务名是当日快照、产品名与形态月级变动,不代表另两家云同样切分。
10售前速查#pam-cheatsheet
客户抛出一句话,你要在三十秒内拿到那张卡。这一节是前九章压出来的现场用件:去哪一节找弹药、两种 AI 怎么当场对照、哪四句挡得住多数误判、验收该演什么。
客户一句话,往哪一节找弹药
| 客户会说 | 真正在问什么 | 去哪一节 |
|---|---|---|
| 我们已经有一堆模型了 | 你们跟它什么关系 | 两种 AI 各管什么 |
| 离线 0.95 上线只有 0.7 | 是不是用了未来的信息 | 特征的时间语义 |
| 要不要上特征平台 | 现在到那个门槛了吗 | 特征平台 |
| 监测到漂移就重训吧 | 漂移等不等于变差 | 七类信号 |
| 说不清为什么拒绝 | 会不会卡住上线 | 解释与治理 |
| 能不能跟大模型共用一套 | 哪几层能合 | 平台分界 |
预测式和生成式,一分钟对照
| 问的角度 | 预测式 | 生成式 |
|---|---|---|
| 产物是什么 | 一份权重加一套特征口径 | 一套提示词加检索配置 |
| 对不对谁说了算 | 业务真值,但要等 | 判官打分与人审 |
| 最大事故源 | 特征的时间语义 | 提示注入与幻觉 |
| 单次成本 | CPU 上按请求算,量级看实测 | GPU 上按 token 计费 |
| 改进的动作 | 换特征、重训 | 改提示词、换模型 |
| 验收签什么 | 指标带阈值与容量上限 | 质量分与发现时延 |
客户会拿生成式的经验套预测式,这张表用来当场拉回来。生成式那一列的展开各有主场,本册不重讲。
四句话,挡得住现场多数误判
漂移不等于变差
分布挪了模型照样准,很常见。重训的代价是真的,收益是假设的。
标签是等出来的
不是人打出来的——那是另一件事,成本在人力。标签成熟期直接决定 POC 周期。
掉点先查时间
离线好、上线差,十有八九是特征用了未来的信息。先查时点,再怀疑模型。
说不出理由卡上线
卡住上线的常常不是精度,是解释和留痕。这部分工作量要在报价里就写进去。
串联地图:撞到别册的六处,各自怎么划
| 撞哪儿 | 那边讲什么 | 本册讲什么 |
|---|---|---|
| AI-Ops · 漂移 | 无真值的漂移与静默退化 | 有真值但要等标签的漂移 |
| Evaluation · 自建评估 | LLM 输出怎么判分 | 业务约束下的指标与阈值 |
| Data-Engineering · 标注 | 人去打的标注,成本在人力 | 等出来的标签,成本在时间 |
| Security · 治理框架 | 框架组合与法条时点 | 落到交付物上的那几张纸 |
| AI-Infra-Platform · 总览 | 集群、调度与 GPU | 两种负载为什么合不了池 |
| Model-Landscape · 价格 | 大模型价格与选型 | 预测式那一侧的成本结构 |
这六处最容易重讲,被客户追问时也最容易露怯。跨模块引用一律说清「那边讲什么、本册讲什么」,别两边都讲一半。
生产验收清单:这几样得当场演得出来
| 验收面 | 现场要演什么 | 什么不算数 |
|---|---|---|
| 监控 | 注入一次故障,当场报出来 | 只给监控大盘截图 |
| 再训练 | 一份写死的触发条款 | 「见漂移就重训」 |
| 真值回灌 | 演一次从业务结果到指标 | 说「以后会接上」 |
| 解释 | 单笔的主要影响项当场调出 | 只给全局特征重要性 |
| 治理文档 | 模型卡加独立验证报告 | 建模的人自己签验证 |
| 回滚 | 上一版拉起来还能打分 | 只留一个权重文件 |
六条的出处都在七类信号与解释与治理两节。报价时把它们当工作量算,别当赠品送。
方案评审对照:每一面要能出示什么
| 验收面 | 必须能出示的证据 |
|---|---|
| 题切对了 | 预测时点、观察窗、标签窗、样本单元四样写在一页上,业务方签过字 |
| 没有穿越 | 按时间切分的回测记录;特征取数用的是预测时点当时可见的值 |
| 两边一致 | 同一实体同一时点,线上打分与离线重算逐字段比对的结果 |
| 有基线 | 不用模型的规则版成绩,与模型版同口径同切分 |
| 可复现 | 从一次生产打分能追到模型、数据快照、代码提交与审批 |
| 会响也知道怎么办 | 七类信号各自的检测方式、责任人,以及什么门槛才动模型 |
上一张表验「演不演得出来」,这一张验「出不出示得了」。答不出证据,就还没到生产。
一句话记住每一节
| 节 | 一句话记住 |
|---|---|
| 两种 AI | 存量模型是资产不是竞品,先答分工 |
| 算法取舍 | 先看数据长什么样,再谈用哪类算法 |
| 问题切法 | 预测时点、标签窗口、样本单元先定死 |
| 时间语义 | 掉点先查时间,特征别用上未来的信息 |
| 特征平台 | 它是门槛问题,没到门槛先别上 |
| 实验到生产 | 实验记录、注册表、发布门,缺一条就追不回 |
| 七类信号 | 漂移不等于变差,重训排在最后一位 |
| 解释与治理 | 说不出拒绝理由,卡的是上线不是精度 |
| 平台分界 | 治理面先合,算力和服务形态别硬合 |
| 售前速查 | 客户一句话,三十秒内翻到那一节 |
速查各卡不新增事实,出处都在正文各节;治理文档那一行的口径核实 2026-08-02,来源 Mitchell 等 2019 年模型卡论文。不可外推边界:这两张验收表是本册口径的对照清单,不是任何行业标准模板;表里的服务与工具名随各节正文的保鲜节奏变动,引用其中任何数字前先回到对应小节核日期。
11上云怎么落地#cloud
前面十节讲的是这条生命周期上每一环该怎么想。这一节换个视角:每一环在云上对应哪个现成件、这句话对客户意味着什么、该顺着追问他什么、以及哪些事云替你做不了。按落地阶段排,不按章节排——现场画的是一条从取数走到重训的时间线,不是一份目录。
阶段一 · 取数与特征:训练集是怎么来的
| 技术环节 | 代表性云服务(多厂商,非绑定) | 给客户一句话 |
|---|---|---|
| 托管特征库 | SageMaker Feature Store / Azure ML 托管特征库 / 阿里云 PAI-FeatureStore | 两个库和中间那道物化,平台替你建好 |
| 时点取数 | Azure ML 与 Databricks 内置时点连接;SageMaker 侧靠离线库自带的写入时间列自建 | 训练集按每个样本各自的时点截断,不是全表切一刀 |
| 在线存储 | DynamoDB / Redis / Hologres | 只留每个主键的最新值,按主键毫秒点查 |
| 产品寿命 | Vertex AI Feature Store(Legacy)已弃用,去处是 V2 或 Bigtable | 2027-02-17 退役,选型先查产品状态 |
顺着追问什么:线上读要几毫秒、并发多少?每个特征的落库延迟有没有记录——这张表拿不出来,时点取数就没有输入(见特征的时间语义)。特征更新是分钟级还是天级?这套特征库的退役公告你们查过吗?再补上判断该不该买的那五行:几个模型共用同一批特征、几个团队在重复造、要不要毫秒级读、吃过一致性事故没有、要不要复现三个月前的训练集(见特征平台)。
云替你做不了什么:托管特征库保证两边读的是同一份存储,保不了两边算出同一个值——转换代码不同照样对不上,哪个字段是标签的代理量它更是一概不知(见特征的时间语义)。时点取数按你给的那一列时间算,列给错了照样穿越。在线库不留历史,要回溯还得回离线库;离线库有写入窗口,AWS 官方口径是写入调用之后 15 分钟内落进离线库——那是写入窗口,不是在线库的读延迟,这条最容易被读反(见特征平台)。云也替你迁不了口径:迁完要重跑。
Vertex AI Feature Store(Legacy)2027-02-17 完全退役、SageMaker 离线库 15 分钟写入窗口,核实 2026-08-02,来源 特征平台信源。不可外推边界:退役表只针对 Legacy 版,V2 的能力与配额另算,别家产品也不同期;15 分钟是离线库的写入窗口,拿它当实时通道就会把方案写反。
阶段二 · 从实验到发布:一个模型凭什么上线
| 技术环节 | 代表性云服务(多厂商,非绑定) | 给客户一句话 |
|---|---|---|
| 实验记录 | 托管 MLflow(SageMaker、Databricks 两家的托管版)/ Azure ML 与 Gemini Enterprise Agent Platform(原 Vertex AI)跟踪 | 训练一跑就自动留痕,不靠人记得写 |
| 模型注册表 | SageMaker Model Registry / Azure ML Registries / Gemini Enterprise Agent Platform Model Registry | 模型带着来路入库,批准动作可审计 |
| 发布门 | SageMaker Pipelines 条件步骤;Azure ML 与 Vertex 的流水线有同类步骤 | 指标不过线,流水线停在批准前 |
| 影子发布 | SageMaker 影子测试 / 各云端点的流量切分 | 真流量复制给新版,只算不返回 |
| 国内落点 | 阿里云 PAI:模型注册 + 实验管理 | 模型按版本入库,训练任务挂着实验 |
顺着追问什么:训练现在跑在哪、留没留记录?谁有权批准上线、记录留在哪?门槛值现在是谁定的、写在哪一份文件里?影子期打算跑多久(AWS 那家最长 30 天)?模型和实验记录落在哪个工作空间?还有最容易漏的一句:判定日定在哪一天——标签没成熟前,影子期比不出胜负(见从实验到生产)。
云替你做不了什么:注册表的状态字段只记流程,不判断模型好坏——从待批改成已批,只说明有人点了同意。门槛值要你给,云不知道业务底线。影子只比得出两版预测值的差异,比不了业务结果,谁更准要等标签成熟(见把业务问题切成可学的题)。记录记得住入参和指标,抹不平库版本、算子、归约顺序带来的非确定性差异——别承诺同一份代码跑出同一份权重,能承诺的是差异查得到出处(见从实验到生产)。
影子测试默认 7 天、最长 30 天、一个端点只挂一个影子;MLflow 自 2.9.0 起把注册表四阶段标为弃用、改推别名与标签。核实 2026-08-02,来源 注册表与发布信源。不可外推边界:时长与端点限制是 AWS 一家的配额,别家做流量镜像的规格不同;弃用不等于已移除,旧接口在当前版本仍可用。
阶段三 · 上线之后:云替你盯得住哪几类信号
| 技术环节 | 代表性云服务 / 工具(多厂商) | 给客户一句话 |
|---|---|---|
| 分布类信号 | Azure ML 漂移信号 / Gemini Enterprise Agent Platform 模型监控 / Evidently(开源) | 不用等标签的那四类,云上开箱就有 |
| 真值类信号 | Azure ML 模型性能信号(当日仍标 preview,需回灌真值) | 真值不回灌,性能就无从谈起 |
| 无真值期估计 | NannyML(开源)的 CBPE,Confidence-Based Performance Estimation;各家自建回流表 | 空窗期有近似解,但有前提 |
| 特征归因漂移 | Azure ML 特征归因漂移信号(当日仍标 preview,需训练数据) | 没标签也有一个早期预警 |
| 托管件的寿命 | AWS SageMaker Model Monitor 已不再向新客户开放,官方改荐开源自建 | 托管件也会退场,管线别绑死 |
顺着追问什么:推理的输入和输出落库了吗——没落库,四类不等标签的信号一条都跑不起来。标签多久成熟、谁负责回灌?这个场景的概念漂移风险有多大(它决定空窗期那套估计能不能当预警用)?训练数据还留着吗?这个托管件现在还收不收新客户?阈值谁来定——算子云给,阈值你定(见上线之后)。
云替你做不了什么:云不替你等标签,性能下降与概念漂移这两类必须有真值。无真值期估计在概念漂移下不成立,只能当预警、不能当验收依据;特征归因漂移同理,是预警不是结论。托管件退场时,迁移计划在你这边。最要紧的一条:告警响了不等于模型坏了——五步分诊里重训排在最后一位,云给的是查管线和看分布这两步的算子,对特征、等真值这两步都在你这边(见上线之后)。
Evidently 按参考集大小切换检验方式与阈值;Azure 的模型性能与特征归因漂移两个信号当日仍标 preview;AWS 同日文档改荐开源方案自建。核实 2026-08-02,来源 监控与阈值信源。不可外推边界:Evidently 的那组阈值是该工具的默认值,不是业界统一标准,照抄前先看假设;preview 状态与信号清单会变,也不代表三家云在监控这一面能力对等。
阶段四 · 两种 AI 摆在一起:哪一层合得起来
| 技术环节 | 代表性云服务(多厂商,非绑定) | 给客户一句话 |
|---|---|---|
| 实验与注册 | SageMaker 托管 MLflow / Gemini Enterprise Agent Platform 与 Azure ML 注册表 | 两种模型可以进同一个注册表 |
| 生成式那一侧 | Bedrock / Agent Studio(原 Vertex AI Studio)/ Microsoft Foundry | 生成式常在另一个控制台 |
| 在线服务 | SageMaker 端点 / Vertex 端点 / Azure ML 在线端点 | 预测式 CPU 就能跑,成本结构和生成式不同 |
| 治理与留痕 | 各云模型注册表 + 自建证据库 | 要合就先合这一层 |
顺着追问什么:版本谁在管、审计要看到什么?两边的权限和账单打通了吗?延迟、并发、批量各要多少?出事之后多久拿得出当时那一版?还有现场最省时间的一句:你们的预测式和生成式现在分别在哪个控制台里——三家云自己的合并程度都不一样(见一套平台装得下生成式和预测式吗)。
云替你做不了什么:云管存放,晋级规则你定;跨控制台的审计要自己拼。容量规划不归云——共用一个 GPU 集群省下的钱,常被排队和碎片吃回去,先分区分配额再谈合池。证据齐不齐也在你这边:模型卡、独立验证报告、再训练记录,云一张都不会替你写(见可解释、公平与模型风险管理)。
本节的服务清单与「给客户一句话」和讲义各章的「上云怎么落地」页同源,未另立新数;两处服务名快照按 30 天一查的节奏保鲜。核实 2026-08-02,来源 平台与门面信源。不可外推边界:这是「哪一环有云件可用」的地图,不是选型结论——地域可用性、配额、计价单位与产品生命周期状态会月级变动,也不代表三家云在同一环节上能力对等,出方案前按当期官方文档逐项复核。
12现场高频追问#qa
只收会改变某个决定的问题——会改变技术方案、风险判断、验收方法、对客沟通或下一步行动。答不上来的不立题。
全部来自讲义对练页与本次网页化补题,日期 2026-08-02。
我们风控跑了十年评分卡,你们这套是要把它换掉吗?2026-08-02
不换。出分那一棒它干得好,要补的是它周边:特征的时间语义、上线之后的信号监测、什么时候才该重训。真要动出分模型,先拿现有评分卡当基线比一场——没有基线,说不清新模型值多少。
存量模型是资产不是竞品。客户听到「换掉」立刻变成防守方,听到「接住」才会把周边那几格的缺口讲给你听——那几格才是这一册真正在卖的东西。
下一步 把切入点当场摆成三条:运维(信号与重训)、生成式能力(把非结构化材料转成字段)、数据与特征底座,请对方指出哪一条现在最疼。
依据 两种 AI 各管什么
大模型这么强,为什么不直接让它预测谁会流失?2026-08-02
三处卡死,都跟能力强弱无关。它给的那个百分比是生成出来的字,不是在你数据上估的概率,没校准就没法卡阈值排队、算期望损失;客户的申请表字段与内部风控规则预训练里没有,塞进提示词只是这一次可见,学不进权重;每天几百万次打分,按 token 计费的形态也撑不住。
讲成「能力还不够、等下一代」,下一代来了你还得再解释一遍。讲成结构性分工,这句话才一次管三年。
下一步 反过来给它派活:让生成式读合同、工单这类非结构化材料,转成字段再交给预测式出分——同一笔业务两种 AI 各站一棒。
依据 两种 AI 各管什么
你们用什么算法?我们想上最新的深度学习模型,行不行?2026-08-02
先看数据长什么样:一行一个样本的表格默认梯度提升树,时序先立季节性朴素基线再上树,排序看前 N 名的命中率,异常先去找那 1% 的标签。要往上走先过三道门槛——样本量、时间预算、上线门槛(说得出拒绝理由、特征管线还要重做一遍);三道里过不了任何一道,默认解就是树。活体基准 TabArena 的结论是深度方法要靠更长的时间预算配合集成才追上,跨模型集成才是当前最好成绩。
算法名不是卖点。POC 排期里通常没有「更长的时间预算」这笔钱,先用树立基线、把省下的时间花在切题上,赢面大得多。
下一步 把客户的需求先归进表格、时序、排序、异常四格中的一格,当场给出默认解,再给一版不用模型的规则基线当标尺。
依据 算法取舍地图
我们一个标签都没有,是不是只能做无监督异常检测?2026-08-02
先别认。ADBench 在 30 个算法、57 个数据集上跑出来两条:被测无监督算法之间统计上谁也不比谁强;只要有 1% 的标注异常,多数半监督方法就能超过最好的无监督方法。
这句话把讨论从「挑哪个无监督算法」拉回「去哪凑那 1%」——前者没有赢家,后者有明确动作,而且通常凑得出来。
下一步 去翻人工复核已经处理过的历史工单当种子标签,先估这 1% 够不够;够了,方案就从无监督改成半监督。
依据 算法取舍地图
我们就是想预测哪些客户会流失,这还不够清楚吗?2026-08-02
还差四样:一行代表谁(样本单元)、站在哪一刻判断(预测时点)、往后看多久算发生(标签窗口)、什么动作才算流失(判定口径)。四样任意一样变了就是另一道题,样本量、正样本比例、上线方式全不同——同一句业务话能切出十几道完全不同的题。
题没切开就学不了,也没法验收。这四行写不出来的项目,后面所有算法讨论都是空转。
下一步 先问一句「这个分数谁在什么时候看」——答案会直接把预测时点和样本单元定下来,剩下两样也就好谈了。
依据 把业务问题切成可学的题
为什么 POC 要等两个月才能给结论?2026-08-02
标签是等出来的。标签窗定 60 天,就得等 60 天才知道答案。POC 里通常改用更早的历史切片,让窗口在过去已经走完,代价是那段时间的业务环境和现在不一样。窗口没走完就统计,正样本比例天然偏低,模型看着很准,只是答案还没揭晓。
「等标签」和「等标注」是两件事:人去打的标注成本在人力,加人能加快;这里的标签成本在时间,加人加不快。排期表上这一条最容易被砍,砍掉换来的是一个半熟的结论。
下一步 把标签成熟期直接写进 POC 排期,并同时定下判定日——哪一天才算比出胜负,发版当天就要写死。
依据 把业务问题切成可学的题
离线 0.95,上线只有 0.7,问题出在哪?2026-08-02
十有八九是训练时看见了预测那一刻看不到的信息。它只让分数变好,不报错、不抛异常,交叉验证也查不出——它切的是行,不是时间。按五步查:先怀疑那个好得反常的分数;看重要度榜有没有哪个特征霸榜又解释不通,摘掉重训一次;改按时间切分重评;给每个特征列一张可用时刻表;最后拿上线当天真实拿到的特征重放一遍。重放分与离线分之差,就是虚高的那一截。
这是全册头号事故源,也是客户会上最常听到的一句抱怨。先查取数、再怀疑模型,能省掉重训、换算法、加数据这三轮全无效的动作。
下一步 第 4 步那张「特征可用时刻表」最省事——它把争论变成逐行核对:业务发生时间、落库延迟、预测那刻取不取得到。
依据 特征的时间语义
你们说的数据泄漏,和我们数据部门说的数据泄露是一回事吗?2026-08-02
不是。他们说的是数据外泄,属安全问题;这里说的是训练时看见了预测那刻拿不到的信息,模型学会了抄答案,离线漂亮、上线现原形。两个词中文都叫泄漏,开会前先问清指的是哪一个。
这个词一岔,整场会就在两条轨道上跑:安全部门以为你在讲合规,建模团队以为你在讲穿越,最后谁也没接住谁的话。
下一步 当着客户把简称换成长句:「训练用了预测时点之后才有的信息」,一次多花五个字,省掉后面十分钟。
依据 特征的时间语义
我们的数据回流要等好几天,这套还能做吗?2026-08-02
能做,前提是把延迟写进方案:按最慢那条链定预测时点。某个特征 T+5 才到手,就只能用 T+5 之前那一版,或者干脆不用。最贵的一种错是训练按事件时间取、上线那一刻等不到——离线拿了四行喂模型,真到手的只有一行。
事情发生的时间不等于你知道它的时间。筛选条件必须卡落库时间,只按事件时间筛就已经在穿越了。
下一步 问数据方一句:这张表有没有落库时间列。没有就先补这一列,比调任何模型参数都值。
依据 特征的时间语义
别家都在推特征平台,我们是不是也该上一套?2026-08-02
先数五行:几个模型共用同一批特征、几个团队在重复造同一个特征、线上要不要毫秒级读、吃过训练服务偏差的亏没有、要不要复现三个月前的训练集。三行以上落在「该上」那一列,才谈得上买;只落一两行,先用共享转换库加一张特征可用时刻表顶着——省下的运维人力,多半比平台省下的算力值钱。
特征平台是拿运维负担换复用收益,数不够就是净亏。把它讲成门槛问题而不是先进性问题,客户反而更信你后面说的话。
下一步 拿这五行给对方当场打一次分,结论和理由都写在纸上——这张分数表本身就是下一次会的议题。
依据 特征平台
上了特征平台,训练和线上就一定一致了吗?2026-08-02
一致的是读到的那份数据,不是算出来的那个值。平台保证两边取自同一份定义和存储;实时特征若还在应用代码里现算,值照样对不上。哪个字段是标签的代理量它也不知道,目标泄漏拦不住。它还不管标签什么时候成熟——那条直接决定 POC 周期。
「上了平台就没这个问题了」是客户最想听、也最容易翻车的一句。边界当场说清,比上线后返工便宜得多。
下一步 让转换代码也归平台管才算真一致;短期做不到就退一步:每天比对一批线上与离线同一时点的特征值,超线报警——查得出止不住,也比不知道强。
依据 特征平台
我们有 Git 就够了吧,为什么还要一个模型注册表?2026-08-02
Git 管代码,管不了几百兆的模型文件,也管不了它用了哪版数据、哪版特征口径。可复现要锁四样:代码提交号、训练集快照、特征定义版本、运行环境,缺一样「重跑一遍」都做不到。注册表把这四样绑在一起,再挂上谁批准上线的状态;回滚是改一个指针,不用翻提交历史。
客户问「模型在哪」,其实问的是这四样。答不上来,模型就是个来路不明的二进制文件,复核、定责、换人接手全卡在这儿。
下一步 判断一套记录合不合格只问一句:三个月后能不能只凭它把结果跑出来。拿一个已上线的模型试一次,卡在哪一步、缺的是四样中的哪一样,当场就有答案。
依据 从实验到生产
新模型明明更好,为什么还要跑影子期?出了事多久能退回上一版?2026-08-02
离线比的是历史数据,影子比的是今天真实进来的请求——差最多的一处是特征取数:线上有超时、空值、降级,离线表里一个都没有。影子让这些差异先暴露,且不影响客户。回滚这一侧,用别名的注册表是把 champion 指回旧版本,分钟级;前提两条:旧实例拉得起来、依赖的特征定义没被改过。两条不成立,回滚就成了重新发布,按小时算。
注册表从阶段改成别名,改的其实是回滚方式——发版对象成了一个指针,灰度与对照不用再造第二套状态。这一点直接决定你敢在合同里签多长的处置时限。
下一步 演练一次改指针回滚并报出实际耗时;同时把影子期时长和判定日一起写进发布计划,别只写「跑一段」。
依据 从实验到生产
你们能不能保证同一份代码跑出同样的模型?2026-08-02
不能,也没人能。库版本、显卡算子、归约顺序都会让结果有微小差异。能保证的是差异可解释:记录里查得到是哪一样变了。要严格复现就得锁死镜像和随机种子,代价是升级变慢——这笔账要跟客户当面算,别默默替他选。
把「可复现」讲成「一模一样」,第一次小数点后第三位对不上就成了信任事故;讲成「差异查得到出处」,签得下来也守得住。
下一步 在方案里把可复现写成两档:常规档记全四样、可定位差异;严格档锁镜像与种子、写明升级节奏变慢的代价。
依据 从实验到生产
看到漂移告警,直接自动重训不就完了?2026-08-02
这条自动化听着成熟,实际把三种事故写进了流程:漂移不等于变差,分布挪了模型照样准很常见,重训的代价是真的、收益是假设的;标签没成熟就重训,等于拿噪声追噪声,新模型看着好只是因为它拟合了半熟的那一批;上游坏掉时重训会把故障学进模型,那时候正确的动作是冻结。按五步分诊走:查管线、对特征、看分布、等真值,确认关系真的变了才动模型,并留旧版可回滚。
前四步不花钱,第五步花钱还可能变得更差——顺序本身就是风控。这也是「模型多久重训一次」没有标准答案的原因:该定的是评估节奏,不是日历。
下一步 写一份再训练触发条款:什么信号、连续几个窗口、标签成熟到什么程度才允许重训,写到不做模型的人也能照着执行。
依据 上线之后
阈值定多少合适?给个行业标准。2026-08-02
没有能直接抄的标准。PSI,Population Stability Index(群体稳定性指数)那组 0.1 / 0.25 出自 1994 年信用评分实务,是与样本量无关的经验常数:样本大了到处报警,样本小了该报不报。工具的默认值也各带假设——参考集小的时候靠假设检验,大了改用分布距离,这个切换规则是工具自己定的。做法是拿自家历史数据跑出正常波动带,再往外放一档。
照抄一个默认值,等于把「什么算异常」外包给一个不知道你业务的常数。第一次误报潮之后,客户就再也不看这块看板了——阈值定错的代价是整套监控失去信任。
下一步 先跑一段历史数据出波动带,再按特征重要性挑前几个特征盯住,别在小样本上追单个特征。
依据 上线之后
标签要等三个月,这三个月是不是什么都看不见?2026-08-02
看得见四类不用真值的信号:数据质量故障、训练服务偏差、输入漂移、预测漂移——当天就能查,多数告警到这一步就解释完了。还能用模型自己的置信度反推混淆矩阵,估这段时间的准确率与召回。但要说清楚:这套估计以概率校准得住、样本量够大为前提,官方原话是概念漂移下它不成立——越是你最想知道答案的时候,它越不能用。
空窗期不是只能干等,但把估计值当验收依据,就是拿预警冒充结论。这句边界写不写进方案,决定三个月后是交付还是扯皮。
下一步 空窗期签「发现时延与处置时限」,别签分数;同时把真值回灌的责任人和节奏一并定下来。
依据 上线之后
我们上了监控,能不能承诺模型不掉点?验收又拿什么签?2026-08-02
归因结果能直接发给被拒的客户吗?2026-08-02
作为主要影响项可以,作为整改建议不行。归因是把「这一单的分和基线差在哪」按特征摊开的一份账,加起来正好等于那个差额,仅此而已;特征相关时同一份贡献在几个特征之间怎么分本身就是任意的,采样还会造出现实中不存在的特征组合。所以能写「主要影响项是这三个」,不能写「改了它就能过」——后半句是因果承诺,这类方法给不了。
这一句写进对外话术,能挡住后面所有「我照你说的改了怎么还是被拒」的投诉。归因是分账,不是原因。
下一步 拿一个真实被拒样本写出三条主要影响项,再写一句你不敢承诺的话,两份一起给风控部门过目。
公平性我们全都要,行不行?2026-08-02
数学上不行。校准性、假阳性率均等、假阴性率均等三者,除非各群基础率相同或预测完美,否则不可能同时满足——这是 2016 年就被证明的结论,不是工程做不到。先跟业务选一个主口径:选校准性,两群的错判率就会不等;选假阳性率均等,分数不再能直接横比。
这不是技术选型,是业务表态。售前把它讲成「先选一个」,评审会就从「你们做不到」变成「我们该选哪个」——后者才有下文。
下一步 拿同一个模型按两个群体分别算准确率、假阳性率、假阴性率,看差距落在哪一项,再带着这张表去跟业务选主口径。
我们不是银行,模型风险管理那套要不要做?2026-08-02
那份指引自己写明主要适用于总资产超 300 亿美元的美国银行,2026-04-17 起换成了新版。但那套动作值钱的是方法:模型清单(在用、在建都要登)、三件验证(概念站不站得住、上线后持续监测、结果与真实对照)、由既有专业又有独立性的人做有效挑战、超线按政策处置而不是记录了事。非金融客户照着裁剪,评审会好过得多。顺带一句:新版脚注把生成式与智能体 AI 排除在外,传统统计模型与非生成式的 AI 模型照样在内——它按是不是模型管。
客户一听「银行监管」就想跳过,跳过之后独立验证报告补起来比想象中慢,直接卡住上线——卡上线的常常不是精度,是解释和留痕。
下一步 先确认一句:这个模型的输出会不会直接对个人产生不利决定?会,就先谈解释与留痕;不会,门槛低得多。
我们已经买了一套大模型平台,预测式能不能直接塞进去?该先做哪件事?2026-08-02
分层答。登记、发布门禁、权限、审计留痕这治理面四项能合,越早合越省,几乎没有额外代价——两种东西能进同一个注册表,是因为要登记的本来就不是文件,而是「这一版由什么组成」。数据管线、构建产物、算力与服务形态合不了:一个 CPU 就能跑、天然可批量,一个吃 GPU、按 token 计费。监测只共用采集层。先做的那件事就是把两种模型登进同一个注册表,把发布门禁和审计留痕统一起来。
答「能」和答「不能」都不对。三家云自己也没合完,微软还得专门出一篇「该用哪个工作室」的指引——方案别写死在产品名上。
下一步 把手上一个预测式项目和一个生成式项目按六层各写一行,标出哪几层真的共用了;每个「不能共用」都要说得出是因为什么不同。
你们说的漂移,和我们大模型团队说的漂移是同一个指标吗?2026-08-02
同名不同物。他们那边多半没有客观真值,看的是输出风格和供应商静默换版,靠嵌入距离与判官持续打分发现,动作是换版本、改提示词、加护栏;这边有真值,只是要等,看的是输入分布和 X 与 Y 的关系,动作是补数据、对齐口径、必要时重训。采集层可以共用,判断方法不共用。
这是客户会上最容易谈岔的一处:两个团队各说各的漂移,争到最后才发现争的是同一个词的两种含义。先声明口径再往下说,能省半场会。
下一步 在方案里给「漂移」加一句限定语——有真值的那一种还是没真值的那一种;跨团队评审时先把这句念出来。
依据 一套平台装得下生成式和预测式吗 · 上线之后
本节的数字与服务名都取自本页其他小节已登记的事实,未另立新数;核实 2026-08-02,来源 监控与阈值信源、解释与治理信源。不可外推边界:这些答法给的是判断口径与下一步动作,不是任何客户现场的实测值——阈值、窗口长度、命中率一律要在对方的数据上重算。
14来源与核实#sources
本页时效性数字均经联网核实后写入,完整登记(事实 × 核实日期 × 信源 × 等级 × 节奏 × 不能外推)见本模块 MANIFEST。核实窗口 2026-08-02。引用任何数字前先核日期。
| 来源 ID | 信源 | 支持什么 | 不能支持什么 |
|---|---|---|---|
src-rules-of-ml |
Google for Developers《Rules of Machine Learning》第 1、4、29 条与 Training-Serving Skew 节;NeurIPS 2015《Hidden Technical Debt in Machine Learning Systems》 | 先发一版没有模型的规则基线、第一个模型先简单把基础设施做对;把服务时用过的特征打进日志再拿去训练是「训得像服务」最稳的办法;训练服务偏差的三类成因;机器学习系统的持续维护成本被普遍低估 | 都是经验法则与定性论述,不含比例、金额或阈值——「规则能拿走一半收益」不是任何具体项目的实测值 |
src-tabular |
arXiv:2506.16791《TabArena》活体基准;Prior Labs 官方文档 Models 页 | 表格数据上树仍是强对手、深度方法要更长预算配合集成才追上、跨模型集成是当前最好成绩;表格基础模型的样本数、特征数与类别数上限 | 公开精选数据集上的排名,不代表客户数据上的名次;规模上限也不代表在该规模上压得过树,且不含耗时与显存 |
src-m5-adbench |
Makridakis 等《The M5 Accuracy competition: Results, findings and conclusions》;arXiv:2206.09426《ADBench》 | 时序侧:前 50 名几乎全用按门店/品类训练的 LightGBM、全部跨序列共学、冠军是 6 个模型等权平均;异常侧:无监督算法之间统计上谁也不比谁强、1% 标注异常就足以让多数半监督方法反超 | 零售销量单场竞赛的结论不能外推到所有时序场景;1% 是公开数据集上的平均结论,不是保证 |
src-feature-store |
AWS《SageMaker Feature Store offline store data format》;Feast 官方文档 Introduction 与 FAQ;Google Cloud Vertex AI Feature Store 弃用通告与迁移指南;阿里云 PAI-FeatureStore 概述;Microsoft Learn 特征取回文档与 Databricks 时点连接文档 | 离线库自带的三列时间字段与 15 分钟写入窗口;Feast 自己列的「不是什么」;Vertex Legacy 2027-02-17 完全退役、去处是 V2 或 Bigtable;PAI 的离线在线两侧形态;Azure 与 Databricks 的时点连接能力与时间键约束 | 15 分钟是离线库写入窗口,不是在线库读延迟;退役表只针对 Legacy 版,V2 配额另算;能力存在不代表默认开启或性能达标 |
src-registry |
MLflow《Model Registry Workflows》弃用说明;AWS《Update the Approval Status of a Model》与《Create a shadow test》;阿里云 PAI 模型注册与实验管理文档 | 四阶段被标弃用、改推别名与标签及其理由;注册表三态批准与合法迁移;影子测试默认 7 天、最短 1 小时、最长 30 天、一个端点只挂一个影子;PAI 的模型注册与实验关联两件 | 弃用不等于已移除,旧接口在当前版本仍可用;状态字段只记流程,不代表模型质量已被验证;影子的时长与端点限制是 AWS 一家配额,别家流量镜像规格不同 |
src-drift |
Evidently 官方文档 Data drift;arXiv 2303.01227 与 Yurdakul & Naranjo 2020(PSI 阈值评述);NannyML 官方文档 performance_estimation;Microsoft Learn《Model monitoring in production》;AWS Model Monitor 可用性变更文档 | 参考集大小决定检验方式与阈值的切换规则;PSI 0.1/0.25 的来历与统计缺陷;CBPE 的成立前提与失效条件;Azure 表格数据五类内建监控信号及其前提;SageMaker Model Monitor 不再向新客户开放、官方改荐开源自建 | Evidently 那组阈值是该工具的默认值,不是业界统一标准;PSI 评述只说缺陷,不给替代阈值;CBPE 只能当预警,不能当验收依据或替代真值;preview 状态与信号清单会变,也不代表三家云能力对等 |
src-governance |
美联储 SR 26-2 通知页与所附指引全文;arXiv 1609.05807(公平不可兼得);arXiv 1810.03993(模型卡);Molnar《Interpretable Machine Learning》Shapley 章与 arXiv 2409.06157 | 2026-04-17 起取代旧版、适用口径、三件验证与有效挑战、把模型定义成把输入变成定量估计的方法;三个公平定义不可同时满足;模型卡要写明的用途、不适用场景与分群表现;归因在特征相关时的两处失真 | 美国大型银行的监管口径,不是通用企业合规要求;不可能性结论不指示哪个公平定义在你的业务里更合适;模型卡是文档格式建议,不是监管强制模板;归因的局限是方法固有,不代表所有实现同等失真 |
src-platform |
MLflow 官方博客与文档;Microsoft Learn《What is Azure Machine Learning?》;AWS SageMaker 与 Bedrock、Google Cloud Vertex AI 产品文档 | 同一套实验追踪与模型注册表可以同时装两类;Azure 侧两个门面的分工与官方「该用哪个工作室」指引;注册与实验、生成式侧、在线服务、监控落点几组服务名快照 | 只说登记与追踪层可共用,算力与服务层另算;只反映微软当前的产品划分;服务名快照按 30 天节奏保鲜,不代表三家云能力对等,也不代表切分方式相同 |
保鲜节奏按等级分档:云服务名单 30 天一查,工具默认值与监管口径 90 天,论文类结论 180 天。核实 2026-08-02,来源 平台与门面信源。不可外推边界:复查日之前的数字也只是核实当日的快照——产品名、配额、生命周期状态与监管口径都会在两次复查之间变,出方案前按当期官方文档逐项复核。