全库视图

Glossary全库术语表

一个词在这个库里指几件事,客户和你说的是不是同一件——这一页专管这个。 只收会改变判断的词:同一个词在两册指两件事、两个词常被当成一件事、客户当场会问且答偏要付代价。 一看就懂的、不会误解的、模块名本身都不收。答案留在原处,这里只给去处。

共 99 条,覆盖 21 册。收录判据只有一条:这个词读者理解偏了,会做出不同的决定——所以这里没有面面俱到的词典条目。

同一个词,两册指两件事18 条

问「有没有做漂移监控」的客户,说的可能是两种完全不同的漂移。这一组最值钱:认错了,两边的人会以为谈的是同一件事,一直谈到验收才发现不是。

代理中文一个词扛了 proxy(转发)与 agency(权限)两个意思 容易认成:AI-Gateway 与 MCP 的代理是 proxy——网关统一转发、鉴权、限流、审计,多一跳通常是毫秒级;Agent 与 Security 的「过度代理(Excessive Agency)」是 agency——给 Agent 的权限超过任务所需,出事时爆炸半径放大;Predictive-AI-MLOps 还有第三个「标签的代理量」,指混进特征的替身变量 登记把一件 AI 的事记进一张表,对外与对内是两张不同的表 容易认成:Security 第 8 章的登记是中国监管路线的一档——调用已备案模型做的产品走应用/功能登记,周期是周级;AI-Governance 第 2 章的用途登记是组织内部的母账,一条用途一条记录,对外那几张表都从它取数,两头各记一份必然漂移 合规「合规做了吗」问的可能是两套互不相通的规则 容易认成:Security 第 8 章的合规是中国这套手续——算法与大模型备案、应用登记、内容标识、安全国标、数据出境三通道;Security 第 7 章与 AI-Governance 的合规是国际框架那套——欧盟法案的分类与时点、NIST AI RMF、ISO/IEC 42001,答的是义务落到提供者还是部署者。出海与国内是两套规则,别混谈 缓存把算过或答过的东西存下来复用,库内三种缓存省的不是同一笔钱 容易认成:LLM-Inference 与 LLM 原理的 KV/前缀缓存存的是显存里算过的 K、V,省的是重算与首字延迟、代价是吃显存;AI-Gateway 的语义缓存按向量相似度命中、直接不调模型,但「相似≠相同」,阈值太松会答错;Prompt-Engineering 的提示词缓存是计费口径 可观测把系统跑成什么样变成看得见的指标,两册盯的是不同的层 容易认成:AI-Infra-Platform 管 GPU 与集群层——卡的占用、MFU(Model FLOPs Utilization)、故障与利用率运营;AI-Ops 管应用与质量层——trace、在线评估分、漂移与 token 成本;AI-Gateway 是两者之间的数据源与统一采集层,trace id 两层贯通 利用率卡到底用上了几成,库内的百分数出自不同口径 容易认成:AI-Infra-Platform 第 6 章说它有三层口径——占用率、活跃率、有效率(MFU/goodput),nvidia-smi 那个 90% 只是活跃率;LLM-Inference 与 AI-Infra-Compute 谈的「利用率 40–50%」是自建对比托管 API 的经济分水岭,是另一本账。客户报利用率时第一句要追问哪层口径 路由决定这一条请求交给谁处理,库内至少四层各有一个路由 容易认成:AI-Gateway 与 Model-Landscape 的路由是模型路由——按难度与成本把请求切到不同模型,是省钱与容灾件;Agent 与 RAG 的路由是编排里的分支模式,属于写死的工作流那一档;另有 LLM-Inference 的 KV 感知路由与 LLM 原理里 MoE 的路由器,都在模型或集群内部 漂移上线后表现与当初基线偏离,库内分「有真值」与「无真值」两种 容易认成:AI-Ops 的漂移发生在没有客观真值的生成式应用上——供应商静默换权重、输出风格变了,靠嵌入距离与判官持续打分发现;Predictive-AI-MLOps 的漂移有客观真值、只是要等标签成熟,靠分布距离与成熟真值上的指标发现,且那边的铁律是「漂移不等于变差」。两边只共用采集层,判断方法不共用 评估「这东西行不行」的判定,库内几册答的不是同一个问题 容易认成:Evaluation 的评估答「答得准不准、好不好」,靠评估集与判官打分(延迟吞吐归 LLM-Inference、安全攻防归 Security);AI-Governance 的影响评估答「会伤到谁、有多重、谁来兜、怎么申诉」,产出是几条架构约束不是分数;另有 Security 第 8 章按国标做的备案安全评估、Predictive 有真值时的离线指标,四者互不替代 平台客户说「已经买了一套 AI 平台」时,可能指四种不同的东西 容易认成:AI-Infra-Platform 的平台是算力平台——K8s 上的 GPU 调度、切分、容错与观测;Agent 第 7 章的是低代码 Agent 平台(Coze/Dify/n8n/HiAgent),客户口中的第一个问题往往是这个;另有 Model-Landscape 第 9 章的模型平台与 AI-Ops 第 7 章的观测评估平台。先问是哪一层再报方案 数据泄漏训练时用上了预测那一刻取不到的信息,离线分数虚高 容易认成:客户数据部门说的「数据泄露」是数据外泄,属安全问题、归 Security;Predictive-AI-MLOps 说的是训练取数看见了未来、模型学会抄答案,不报错也不抛异常,交叉验证查不出。中文同一个词,先问清对方指哪个 TaskA2A 里一次委派的活儿:有唯一 ID、九种状态,终态不可回跳 容易认成:A2A 的 Task 是协作的基本对象(有状态工单,重试要建新 Task);MCP 的 tasks 是长任务官方扩展(发起后拿句柄轮询查询、可取消)——两个协议里的 Task 不是一回事 推理把训练好的模型跑起来、逐 token 生成回答的过程 容易认成:LLM-Inference 全册的推理是 Inference——把模型跑起来服务请求,谈的是首字延迟、并发与账单;LLM-Training 第 6 章的「推理模型/推理时扩展」是 Reasoning——答题前先生成思维链换正确率。客户说「推理太贵」多半指前者,说「推理能力强」指后者,处方完全不同 无状态(Stateless)MCP 现行协议核心:删握手与会话 ID,每个请求自带版本与能力 容易认成:MCP 的无状态在会话层(任意请求打任意实例,普通负载均衡就能扩容);A2A 说 Task「有状态」在任务对象层(状态真相在服务端,客户端只是观察者)——两者不矛盾,别当成两协议方向相反 性能「性能怎么样」在库内是两个互不相干的问题 容易认成:LLM-Inference 的性能是快慢与吞吐——TTFT、TPOT、并发与 goodput,靠压测拿证据;Predictive-AI-MLOps 的性能是模型预测准不准——准确率、召回这类必须等真值才算得出的指标,标签没成熟时只能估、不能当验收 选型「用什么模型」这个问题的答法,库内是两类不同的取舍 容易认成:Model-Landscape 的选型是大模型选型——榜单、价格带、许可证、多模型组合与三层路由;Predictive-AI-MLOps 的选型是表格与时序模型的算法取舍——树模型、时序、排序、异常四种数据形状各有默认解。客户问「你们用什么模型」,先分清问的是哪一类 训练用数据改动模型权重的过程,库内至少指三件不同的事 容易认成:Fine-tuning 说的训练是拿自己数据改一个已有大模型的权重、产物是 adapter;Predictive-AI-MLOps 说的是在自家历史数据上从头拟合一个预测式模型、产物是客户自己的权重资产,多数走批量打分;另有 LLM-Training 说的从零预训练,那是模型厂的事 注册表记「有哪些东西、哪个版本」的账,三册记的不是同一类对象 容易认成:AI-Ops 的版本注册表记 LLM 应用的六件生产工件(提示词、评估集、模型与参数、RAG 配置、工具与护栏、发布记录),回滚就是把指针指回旧 tag;MCP 的官方 Registry 是公开 server 的元数据货架,企业内网必须自建私有 registry;Predictive 的模型注册表是模型版本加批准状态

两个词,常被当成一件事55 条

它们答的不是同一个问题。混着用不会当场报错,会在方案里留一个说不清的洞。

AI-BOM,AI Bill of MaterialsAI 系统的物料清单:用了哪些模型、数据集、依赖与版本 容易认成:常和治理侧的「用途登记」当成同一张表:AI-BOM 记「系统里有哪些模型与组件」,用途登记记「有哪些 AI 用途、谁批的」;一条用途对应多条 AI-BOM 项,两张表由不同的人负责 按 token 限流(TPM)按每分钟 token 数设上限,因为成本与负载由 token 决定 容易认成:常与按请求数限流(RPM)当成一回事:一条几万字的长请求抵得上几百条短请求,只按请求数限既管不住成本也保护不了后端——生产要 TPM 与 RPM 双维度一起限 备案生成式 AI 服务向境内公众提供之前必须完成的监管手续 容易认成:最常见的误区是把「登记」当「备案」:自研或微调模型对公众提供走服务备案,大模型备案 3–6 个月、双备案全流程 5–8 个月;调用已备案模型做应用走应用/功能登记,报地方网信办、周期是周级。答错直接把排期算错一个量级 标签成熟期标签窗口走完、答案才揭晓的那段等待,直接决定 POC 周期 容易认成:与数据标注常被当成一件事:标注是人打出来的,成本在人力,归 Data-Engineering;标签是等出来的,成本在时间,加人加钱都缩不短。窗口没走完就统计,正样本比例天然偏低,模型会显得很准 长期记忆跨会话保留的稳定偏好与经确认的经验,用时按需取回 容易认成:常与 RAG 知识库当成一回事:RAG 记「组织的知识」(文档、手册、工单),记忆记「这个用户与这个 agent 的交互史」;载体技术相通(都是存储加检索),但管理与合规策略完全不同,且写回长期记忆必须过验证 DPO,Direct Preference Optimization直接在「好答案 vs 差答案」对上优化,跳过奖励模型与强化学习 容易认成:常和 RLHF 混称「对齐」:RLHF 要先训奖励模型再跑 PPO,工程重、超参敏感;DPO 一个损失函数替代整套 RL 管线,成本接近再跑一次 SFT。客户认定「对齐很贵、只有大厂做得起」,用的是旧地图 多模态理解 vs 多模态生成「多模态」不是一个模型是一类能力,先分清要看懂还是要生成 容易认成:理解侧是让模型看懂图、文档、视频与语音,选型看 MMMU/OCRBench/Video-MME 这类基准与客户的文档版式;生成侧是产出图、视频与语音,选型看流派(扩散还是自回归)、按秒或按 token 的成本账,还牵出内容标识合规。方案骨架完全不同 覆盖率高频问题里有答案的比例,量的是库里缺不缺文档 容易认成:常与准确率混着承诺:覆盖率量「库里有没有这份文档」,是客户文档质量的镜子;答得准不准是端到端评估的事。覆盖率低该补文档,不是调模型 概念漂移同样的输入,结果关系变了;模型必然失准,只有真值能证实 容易认成:常与输入漂移(协变量漂移)混为一谈——后者只是进来的人群变了、X 与 Y 的关系没变,模型可能照样准;只有概念漂移才必然要重训。混在一起就会做出「见漂移告警就自动重训」这个本册点名最贵的动作 工作流(Workflow)人预先写死步骤、模型只在固定节点被调用的系统形态 容易认成:常与 agent 混为一谈:工作流路径可控、成本可预期、每步可审计;agent 自己决定路径与步数,换来灵活也付出不确定性与 token 成本。判据是路径能不能预先写死——能用工作流解决就别上 agent,自主性是花钱买的 goodput满足 SLO 的那部分吞吐,也就是真正能对外承诺的容量 容易认成:常被吞吐或利用率顶替:吞吐压到饱和时 SLO 早已爆表,MFU 是训练侧「标称算力吃到几成」,活跃率高也不代表净产出高。对客承诺与验收写 goodput 加分位延迟,别写饱和吞吐或 nvidia-smi 的活跃率 轨迹评估逐步检查 Agent 的中间动作:该调的工具调了吗、参数对不对 容易认成:常和结果评估当成一回事:结果评估只看任务办成没有,管验收;轨迹评估看过程每一步,管定位。只签结果通过率,会把「中途越权却完成了」的危险成功放行 函数调用(Function Calling)模型以结构化参数决定调用哪个外部函数的机制 容易认成:常被当成 MCP 的替代或前身:函数调用是模型「决定用哪个工具」的能力,MCP 是「工具怎么被标准接入」的协议;MCP 内部仍靠函数调用做决策,二者叠加不是二选一 坏例分流一条坏答案先判是「不知道」还是「不听话」,再定它去哪条线 容易认成:评估集线与训练集线常被当成同一个池子:评估集管验收与回归、要留 10–20% 保留集防应试;训练集只收「不听话」的行为类坏例,知识缺的硬塞进去是白花钱——那类该补数据或更新 RAG 护栏模型外的输入/输出/动作检查层,逐条拦截不安全内容 容易认成:常被当成评估的替代品:护栏是在线的安检门、挡个案,评估是离线的体检、看整体水位;而且护栏拦得准不准,本身还要靠评估来度量。互补,不互替 间接注入恶意指令藏在模型顺带会读的外部内容里:网页、邮件、文档 容易认成:常被当成直接注入的一个变体:直接注入来自用户本人,输入侧护栏与系统提示词加固能挡掉不少;间接注入的受害者无辜、你无法预审每段将被读到的文本,只能靠架构级防御与最小权限 结构化输出让模型只输出机器可读格式(JSON/固定字段)的输出约束 容易认成:常把「提示词里写一句只输出 JSON」当成结构化输出:那只是请求,模型多说一句寒暄就解析失败;生产靠的是 API 的 JSON mode/function calling/强制 schema,从接口层保证格式 解决率(resolution)客服 AI 真正把问题解决掉的比例,独立口径远低于厂商自报 容易认成:与挡走率(deflection)常被混着报:挡走只是没转人工,不等于问题解决。厂商自报 51–80% 与独立口径中位 41.2% 的差距多半就出在这里;验收线要写明按哪个口径测、拿谁的工单测 激活参数MoE 模型每个 token 实际参与计算的参数量 容易认成:和总参数常被混成一个「参数量」:总参数决定存储与显存(所有专家都要装进去待命),激活参数决定每 token 算力与推理成本。只看总参数会把部署卡数算错,只看激活参数会把显存门槛漏掉 金丝雀发布新版本先切 5–10% 流量验证「没变坏」,再决定晋升还是回滚 容易认成:常和 A/B 实验、环境隔离混为一谈:金丝雀答「敢不敢全量」是发布安全件,A/B 答「该选哪一版」是优化工具,环境隔离是空间隔离不是流量切分;而且 LLM 金丝雀必须在金丝雀流量上跑自动评估,只看错误率与延迟等于没做 记忆投毒(Memory Poisoning)把恶意内容写进长期记忆,此后每次会话反复发作;OWASP 列为 ASI06 容易认成:常与提示注入混:注入随会话重置就失效,投毒进了记忆库跨会话持续潜伏,不主动审计根本发现不了——所以防线是写入过滤、任务间清理、鉴权审计 基准测试固定题集加统一判分的公开统考,用来横向比模型 容易认成:常被当成选型结论:基准量通用能力、只够筛入围,还会饱和、会被应试优化;拿客户自己的题打分的自建评估集才是选型与发布的验收线,生产监控再管上线后的长期水位。三层互相不能替代 基座模型(Base Model)只做过预训练的出厂形态:会接着往下写,不会听指令应答 容易认成:和 instruct/reasoning 常被统称「开源模型」:base 没有指令跟随也没有安全边界,适合当二次开发底座;instruct 经过 SFT 与对齐,是面客主力;reasoning 再加 RLVR、先想后答。客户说「用 base 更便宜」,先说清直接面客的风险 开放权重(open weight)只给训练好的权重文件,不给训练数据与训练代码 容易认成:与「开源」常被混着说:按 OSI 的 OSAID(Open Source AI Definition)口径,开源还要开放训练数据信息、架构与训练代码,市面上主流「开源模型」几乎都只到开放权重这一档。能不能商用要看许可证三级分类,不看这两个词 LoRA,Low-Rank Adaptation冻结底座只训低秩旁路,产物是几十 MB 的 adapter 容易认成:和全参微调常被一并说成「微调」,但报价差一个数量级:全参解冻全部权重、显存约参数量×16 字节、要集群;LoRA 可训参数不到 1%,单卡起步、adapter 可热插拔可秒级回滚,学得少也忘得少。要深度灌注新知识才轮到全参 OpenTelemetry GenAI 语义约定给生成式 AI 的 span 与属性定的命名约定,当前整体仍处开发态 容易认成:常和 OTLP 协议混谈成一句「我们走 OTel 标准」:OTLP 三信号已 Stable,GenAI 语义约定全部仍 Development、无一稳定,属性名还可能变——当稳定字段直接落库,标准一动就要迁移 前缀缓存(Prefix Caching)开头相同的请求复用已算好的 KV,省掉整段重复 prefill 容易认成:容易和 KV 缓存当成一件事:KV 缓存是单请求内空间换时间的机制,是并发的天花板;前缀缓存是跨请求复用、是账单杠杆,命中率由提示词结构(稳定内容放开头、头部别插时间戳)决定,跟窗口开多大无关 RLVR,Reinforcement Learning with Verifiable Rewards奖励来自机器可判的对错、而非人类打分的后训练 容易认成:容易和 RLHF 当成一回事:RLHF 靠奖励模型「品」,会被答长、堆免责这类讨好钻空子;RLVR 只在数学、代码这类答案可验证的任务上成立,写作与共情仍要回到偏好对齐。客户要「行业推理模型」,先问任务能不能机器判分 Scale-up(纵向扩展)机柜内把几十张卡连成一个超高带宽域,让软件当一张大卡用 容易认成:常与 Scale-out(横向扩展)当成一回事:Scale-up 是机柜内 NVLink 域,决定张量/专家并行能开多大;Scale-out 是跨机柜网络(InfiniBand/以太),决定集群能连多少卡。两者带宽差一个数量级,买的东西也不同 上下文工程(Context Engineering)在有限窗口里决定给模型看什么,让每个 token 都是高信号 容易认成:常与提示词工程混:提示词工程管一次调用「怎么说」(角色、四要素、分隔符、少样本),上下文工程管「给模型看什么」(压缩、筛选、外置记忆);窗口变大不等于注意力变多,塞得越满单位信息越被稀释 时间片(Time-Slicing)多个任务轮流用整卡,密度高、配置简单,但没有隔离 容易认成:常和 MIG 一起被笼统说成「GPU 切分」:MIG 是硬件砌墙、显存与故障都隔开,生产多租户和对外服务用它;时间片只是软件轮流用,一个任务 OOM 或崩溃会波及同卡其它任务,只适合内部可信负载 数据污染基准题目混进了训练数据,模型「背过这张卷」,分数虚高 容易认成:和 Security 的「数据投毒」只差一字,答的不是同一个问题:污染是考题泄给了模型,坏的是分数的可信度;投毒是攻击者污染训练或检索数据,坏的是模型的行为 Streamable HTTP(可流式 HTTP)MCP 的远程传输:单一 endpoint,可选 SSE 流式,需 OAuth 容易认成:常与本地 stdio 当成部署细节二选一,其实是两套信任模型:stdio 边界是进程隔离,HTTP 边界是网络策略与授权配置——从 stdio 迁到 HTTP 要重做鉴权设计,不是改个 URL Sub-agent(子智能体)主 agent 现场派遣的独立 agent 循环,只交回一段结论 容易认成:常与编排模式 orchestrator-workers 混:后者是模式(蓝图),sub-agent 是 coding agent 产品里的机制(车间);派遣能力住在运行时层,是平台能力不是模型能力 特征平台(Feature Store)登记特征口径、保证离线在线同源、提供时点取数的一层服务 容易认成:常被当成数仓或数据管线的替代——它是数仓下游一层薄壳,不做 ETL、不编排任务依赖,也不保证特征有预测力;它保证两边读同一份数据,不保证算出同一个值。判据是五行里三行落在「该上」那列 条件批准可以上但有几件事没做完的决定,带验收句、到期日、守门人 容易认成:与「先上线再优化」的全部差别就是这三样写死:一句判得了真假的验收、一个日期、一个名字;到期没做到,用途自动降回暂停,不用再开会。缺任何一样,条件批准就是换个说法的先上线再说 提示词缓存把请求里重复的长前缀缓存复用,命中时按大幅折扣计费 容易认成:与语义缓存都叫缓存都省钱,但一个仍要调模型、一个直接不调:提示词缓存按前缀逐字节匹配(前缀里改一个字节后面全失效),命中后照样调模型、只是输入价约 1 折,不会答错;语义缓存按向量相似度命中、直接返回旧答案 提示注入把恶意指令混进模型的输入,让它执行攻击者的指令 容易认成:常和越狱当成一回事:注入是劫持任务(去泄密、去调危险工具),越狱是突破安全对齐(说出被禁内容)。两者常叠加,但注入靠收权限与架构兜底,越狱靠语义级分类器——买错那一层等于没防 微调(Fine-tuning)用自己的数据继续训练,把要求内化成模型的默认行为 容易认成:最常被和 RAG 当成同一种「定制」:模型「不知道/过期」是知识问题,交 RAG(可更新、可溯源);「不听话/风格不对」才是行为问题,交微调;「不够聪明」是能力问题,只能换底座。分错类,方案从第一步就错 文档解析把 PDF、扫描件变成带结构的文本,是入库前的第一段管线 容易认成:常与 RAG 的切分当成一件事:解析在上游(纸变结构化文本),切分在下游(按结构切块)。解析错的表格进了库,检索永远找不回来——该换解析路线的时候调切分参数是白费力 显存带宽每秒能从显存搬多少数据,decode 阶段的天花板 容易认成:常和显存容量笼统说成「显存多大」:容量决定装不装得下(模型与上下文),带宽决定跑得快不快(decode 是带宽受限)。H200 比 H100 贵在这两项,不在峰值算力——按算力比卡会选错 向量化 ≠ 匿名化嵌入向量在一定条件下能部分反推原文,不算脱敏 容易认成:向量化是把文本变成可检索的嵌入(RAG 第 2 章与 Data-Engineering 第 4 章),匿名化/脱敏是让数据不再指向具体的人、是采集点上的独立动作(Data-Engineering 第 7 章与 Security 第 3 章);该脱敏仍要脱敏、该隔离仍要隔离,是默认假设不是可选项 训练成本 vs 推理成本客户问「用大模型贵不贵」,先分清他在问哪一侧 容易认成:训练成本是一次性重投入,是模型厂或自研团队的资本支出,主场在 LLM-Training;推理成本是持续账单,才是客户方案里的大头,主场在 LLM-Inference(两册同源引用「2030 年推理约占 AI 总算力 75%」这条预测)。谈钱先分清在谈哪一侧,否则算的是别人的账 训练服务偏差同一个特征,训练管线和线上代码算出两个值 容易认成:常与穿越/数据泄漏笼统合称「离线好上线差」,其实是两件事:泄漏是训练时看到了未来,要改取数口径;偏差是两条路径各算各的,要么共用一份转换代码或拿线上日志训练,要么每天比对一批样本超线报警——它压得小,但承诺不了零偏差 影响评估产出是几条架构约束与「谁接受了哪些残余风险」的签字 容易认成:常被当成模型评测或数据保护影响评估(DPIA):评测答「准不准」,靠评估集打分;影响评估答「会伤到谁、有多重、谁来兜、怎么申诉」。欧盟法案写明它是对 DPIA 的补充而非替代,且必须赶在架构与数据冻结前做,上线前一周做等于白做 用途登记按「谁用它、给谁做什么决定」逐条登记 AI 用途 容易认成:与模型注册表、与中国备案都常被当成同一张表:注册表登的是模型资产与端点,备案数的是对外提供的服务,用途登记数的是用途。同一个模型给 HR 写文案和给简历打分是两条记录、两个风险档,按模型登就并成一行了 有效上下文长度模型真正记得住、用得好的长度,普遍短于标称窗口 容易认成:和「上下文窗口」常被当同一个数:标称窗口是参数上限、是宣传页上的刻度,托管商用模型已有 13 家给到 1M 以上;有效长度是工程参数,多事实检索过 200K 后主流模型普遍掉 30–60 分。客户拿「友商 1M、你们 200K」压价时,该追问的正是这个差别 原生多模态一个模型直接看图听声再作答,不经 OCR/ASR 转文字这一跳 容易认成:与「拼管线」(OCR/ASR 先转字、文本模型接力)是同一个决定的两个答案,别当二选一:版式固定、只要抠字段走管线更便宜可控;要回答「这图说明了什么」才需要原生。多数真实系统是拼管线打底、原生兜底的混合式 预填充(Prefill)整段输入一次并行算完、产出 KV 的阶段,决定首字延迟 容易认成:常和 decode(解码)一起被笼统说成「慢」,但两段性格相反:prefill 吃算力、决定首字慢不慢;decode 吃显存带宽、决定出字快不快。先分清抱怨的是哪一段,才知道该精简提示词/命中缓存,还是该量化/拼批 语义缓存把请求算成向量,意思相近就直接返回上次的答案,不调模型 容易认成:客户问「有没有缓存、能省多少」时至少是三笔账:语义缓存省的是整次模型调用(网关侧),KV/前缀缓存省的是同一段前缀不再重算(推理侧),提示词缓存省的是输入单价(厂商侧);且「相似≠相同」,阈值太松会答错、缓存键不带身份会跨用户串答 在线评估对生产流量采样、异步打分,持续量线上的质量水位 容易认成:常和离线评估当成同一件事:离线用固定评估集管每次变更,答「能不能上线」;在线用真实流量采样管日常,答「线上还好不好」。两边共享同一套判分器定义,但缺哪一边都补不上另一边 蒸馏(Distillation)大模型当老师批量产出教学数据,小模型照着学 容易认成:常被当成「把大模型压小」的量化:量化是同一个模型换更少比特存,蒸馏是换一个小模型、靠教师产出的示范或思维链数据做 SFT 学过来;用第三方模型的产出做训练还要核对其服务条款,量化没有这一层 忠实度答案是否只基于检索到的材料、不编造,也是幻觉率的口径 容易认成:常和上下文召回率混着看:忠实度低是生成端在编造,召回率低是检索端没找到。合在一起评只知道「错了」,分不出该修检索还是该换模型——两条路的成本差一个量级 资源(Resources)MCP 三原语之一:只读上下文数据,由应用或用户挂载引用 容易认成:最常与工具(Tools)问混:工具由模型自主调用、会执行动作、可能改状态;资源只读无副作用、由宿主决定挂载什么——控制者不同,确认时机与审计责任也不同 组织风险分层按影响谁、可不可逆、人在不在环自定的内部档位 容易认成:与法律分类是两把尺子,客户常合成一个问题问:法律分类按预期用途对号入座、名单是别人定的,判错是违法;组织分档是自己定的,判错只是流程轻重不当。两把都要量,给出不同答案时取严的那把,内部档不能低于法律档

客户当场会问,答偏要付代价26 条

不是难词,是答错成本高的词——口径先对齐,再谈方案。

成组调度(gang scheduling)一个作业要的卡凑齐才一起启动,凑不齐就一张都不占 Computer Useagent 靠截图与鼠标键盘直接操作界面;短窄任务已实用、长程还早 effort主力推理模型的推理档位(low 到 max),一个参数管深度与花销 fair-code(Sustainable Use License)内部使用免费,但不得把软件本身作为服务转售;受限但非 OSI 开源 官方 RegistryMCP 公开 server 的元数据货架:仍 preview、不托管代码 ISO/IEC 42001可认证的 AI 管理体系标准;适用范围企业自划,不背书单个用途 检索质量漂移上线后答案渐差:语料变了、切分不再适配、换过嵌入模型没重建索引 精度阶梯(FP32→FP4)数值位宽的档位:位宽每减半标称算力翻一倍,代价是精细度下降 KV 缓存(KV Cache)已算过 token 的注意力中间结果,存下来免得每步重算 量化(Quantization)用更少比特存权重与 KV:显存、速度、并发一举三得 LLM 判官让另一个模型按评分细则给输出打分或做成对比较的判分手段 内容标识生成合成内容的法定标注义务,分显式与隐式两轨 opaque agents(不透明协作)Agent 间只按 Card 与 Task 契约协作,不暴露内部提示词与工具 PSI,Population Stability Index分布偏移指数;0.1/0.25 分档出自 1994 信用评分实务,与样本量无关 弃用政策MCP 特性三态生命周期:弃用到最早可移除至少十二个月 SHAP,SHapley Additive exPlanations把单笔预测与基线的差额按特征摊成一份账;给不了因果 实质性修改上市后发生、初次符合性评估未预见、影响合规或改用途的更改 算法公平性校准性、假阳性率均等、假阴性率均等三个定义,数学上不可兼得 Text-to-SQL把自然语言问句翻成 SQL 查数;准确率随基准真实度分档,对客讲最低那档 提供者与部署者(provider/deployer)欧盟法案下的两种身份,义务不同;贴牌或改用途会让部署者变提供者 投机解码(Speculative Decoding)小模型起草、大模型一次并行验证,输出分布数学上无损 向量库迁移换库可以搬向量;换嵌入模型则向量空间不兼容,必须全量重建 虚拟密钥(Virtual Key)发给应用的逻辑钥匙,真 key 锁在网关里,可挂预算、限速与有效期 语义层(Semantic Layer)指标、维度、同义词的确定性口径定义,让模型照手册出数不靠猜 灾难性遗忘(Catastrophic Forgetting)微调学会了新任务,却把原有通用能力丢掉的退化 总拥有成本(TCO,Total Cost of Ownership)硬件摊销+电与冷却+机房托管+运维人力四件套;卡价只是首付