实战包 · 对客交锋 95 题

把每次和客户的"交锋"当作一场面试——拜访、竞标、评审、汇报与面试,都是同一场考试

事实纪律:每题答案提炼自 21 个模块讲义的对练页与框架深潜/生产验收页(各模块有联网核实笔记与信源背书),不自创任何事实。每题末尾的「深潜」直达网页版对应章节——被追问就点进去,那里有完整版答案与出处。带 ⏳ 的题含会过期的数字,引用前先核口径日期。用法:时间紧只刷 ★ 必背 27 题(每个维度 3 道,约 10 分钟);重要交锋前通刷全量(约 40 分钟);单个维度弱就回源补课。收题标准:一道题要同时满足四条才进——有源可查、会改变一个决定(方案/报价/风险判断/验收方法/下一步)、15–30 秒答得完且带一个可复述的判据、不与已有题同句。所以这里没有面面俱到的题海。带数字的事实口径截至 2026-07-17,本页末次更新 2026-07-22。

A · 格局与选型开场最高频,答好定基调

A1★现在到底谁家模型最强?⏳ 口径 2026-07-10
先问「哪个市场、什么任务」:企业支出 Anthropic 第一(40%),消费端 ChatGPT 独占 74%,推理基准 Gemini 领先,开源榜首是 DeepSeek——「最强」永远带定语,这正是需要选型方法的原因。
A2开源模型和 GPT 们到底还差多少?⏳ 口径 2026-07-10
多数基准差距已到个位数,编码基准甚至追平(SWE-bench 80.6%)。剩两个差距:最难推理任务闭源仍领先、工具链成熟度。结论是分任务用,不是二选一。
A3国产模型到底赶上国际水平没有?⏳ 口径 2026-07-10
分层答:四强(GLM/Kimi/Qwen/DeepSeek)各有至少一个主流基准超越国际闭源,开源榜首整体是中国队;最难推理任务与顶级闭源还有半个身位。多数生产场景国产已够用,且价格优势显著。落地时还要多答一层平台选型——模型选完平台还要再选一次,见 A10。
A4豆包和 DeepSeek、Qwen 比强在哪?⏳ 口径 2026-07-10
三家打法不同:DeepSeek 赢在价格与开源、Qwen 赢在谱系与生态、豆包赢在迭代速度与云一体——Seed 专线月更 2–4 次,加 180 万亿 tokens 调用规模验证。按场景配,不搞排位赛。承接的平台差异见 A10。
A5GPT 和 Claude 到底该选哪个?⏳ 口径 2026-07-10
先问任务:编码与企业 agentic 场景 Claude 系胜率高(企业编码份额 54%);生态与多模态工具链 OpenAI 更全;成本敏感看 Gemini。建议双供应商起步、网关路由、评估集分胜负。
A6Llama 不是开源吗,为什么法务不让用?
它是「开放权重 + 社区许可证」:有 7 亿 MAU 触发条款和欧盟限制。要许可证干净的替代,DeepSeek(MIT)和 Qwen(Apache 2.0)能力相当且条款更宽松。顺口纠正用词:多数「开源模型」按 OSAID 只是 open weight。
A7★模型更新这么快,今天选的半年后会不会亏?⏳ 口径 2026-07-10
会贬值,所以策略从「选对」变「可换」:网关统一接入、评估集守质量线、合同不绑单一模型——这是过去一年最重要的选型方法论变化。合同上还有一条具体动作:锁「档位与降价传导」而不是锁型号单价,官网降价自动传导;过去一年市场降了 30–60%,不写这条就吃亏。
A8榜单第一的模型为什么你们不直接推荐?
榜单有已证实的水分:私测多变体择优公开(Leaderboard Illusion,曾有厂商私测 27 个变体只发最优),热门基准已饱和无区分度。榜单只做初筛,终审永远是客户数据上的评估集。
A9thinking 模式为什么这么贵?
推理模型按思考 token 计费,深想一次的输出量可达普通回答十倍。对策是思考预算控制(budget_tokens/thinkingBudget),且有 overthinking 实证:超过临界预算准确率反降——thinking 是拨盘不是开关。
A10★国内这几个平台(方舟 / 百炼 / 千帆 / 腾讯)到底选哪个?⏳ 口径 2026-07-17
先答三问:绑哪朵云、要旗舰还是要组合、私有化底线——答完通常自动收敛到一两家。没有普适最优,只有与现状合拍:字节生态看方舟、要全家桶看百炼、搜索增强看千帆、极致性价比与微信分发看腾讯。平台选型比模型选型多一层「生态引力」:云资源、数据、投放渠道在哪家,迁移成本就偏向哪家——「顺路」常胜过「最优」。比价格前先走口径对齐,把分段计价、档位、缓存、批量折扣对齐再谈大小。
A11平台会不会把我们锁死?⏳ 口径 2026-07-17
锁定来自数据与工作流,不是 API——用兼容层或网关保住切换能力,重要场景保留第二货源。「全家桶纳管」与「自研主轴」两种货架哲学的锁定度不同,签约前值得先聊这个。这是「保持可换」在平台层的落点:合同条款、网关抽象层、评估集三件齐了,锁定风险才真正可控;方案里要画出网关的位置并标注切换演练清单。

B · 架构与场景方案解决方案岗的本职

B1★你们和纯卖模型 API 的有什么区别?
模型只是发动机,我们交付整车:场景架构、数据管线、评估验收、安全护栏——每个场景一张整车图纸,按客户场景对号入座。
B2先做哪个场景最容易见效?
通用答案是内部知识库或客服:数据现成、风险可控、ROI 好算。更负责的答法:按「数据就绪度 × 容错成本」排矩阵挑。
B3★POC 成功了,为什么上生产还要再收钱?
POC 只建了模型+数据两层样板墙;上生产要补入口、保障、运营三层——高可用、权限、审计、评估回归都是生产件,这才是工程大头。
B4客服解决率能承诺多少?⏳ 口径 2026-10-20
不先拍数字:厂商自报 70–80%,独立口径(一线分流率)中位仅 41.2%,差在 deflection≠resolution。承诺测法:用真实工单建评估集测基线,验收线双方签字。
B5员工会不会搜到不该看的东西?
这是企业搜索的第一设计约束:权限从源系统继承、查询时实时过滤、无权限连存在性都不暴露。POC 验收带越权测试集,安全团队签字才上线。
B6AI 生成的内容侵权了算谁的?
两层兜底:选商业安全定位的模型(训练数据可溯源、企业 IP 赔付条款,Firefly 模式),加发布前人审留痕,合同权责写清。模型权属这一侧的问题见 H6、H7。
B7★RAG 和微调到底该选哪个?
看要改什么:知识频繁更新、要可溯源 → RAG(改数据不改模型);要定型说话风格、输出格式 → 微调。顺序永远是提示词 → RAG → 微调,左边没榨干不动右边。
B8都有 1M 上下文了,还要 RAG 吗?
要。三条理由:全量塞入按 token 计费贵得离谱;超长上下文中段有效性衰减;知识更新与权限控制只能在检索层做。长窗口和 RAG 是互补不是替代。
B9Agent 和普通对话机器人有什么区别、什么时候该上?
机器人只「说」,agent 能「做」——带工具在循环里自主行动直到办完。但流程固定、要求每步可审计的场景用工作流更便宜可控;agent 留给路径写不死的开放任务。要不要再往上拆成多 agent,是另一笔账,见 B16。
B10自然语言问数(ChatBI)算错一个数怎么办?
比答错话严重,所以三道闸:高频指标只走语义层(确定性生成)、SQL 只读权限+行级过滤、答案附生成的 SQL 与口径出处可复核。裸 Text-to-SQL 只有五六成准确率,语义层是解药。最危险的不是报错,是「跑得通但算错」的静默错误。
B11我们数据很乱,AI 项目是不是做不了?
能做,但顺序要对:先花两三周做数据就绪(解析+清洗+建库),再上模型——数据坑是 AI 项目烂尾的第一原因。把数据工程列成显性工程件,排期和报价摆在明面上;乱不是障碍,「假装不乱」才是。
B12要不要专门买一套向量数据库?⏳ 口径 2026-07-11
多半不用急:已有 Postgres 用 pgvector(生产可用到五千万至一亿向量),已有 ES 升级配置就支持混合检索;规模触顶或强过滤需求再迁 Qdrant/Milvus。选型看能力匹配与运维成本,不看跑分排名。
B13POC 都过了,上生产你们到底"验收"什么?给份清单。
两套东西兜底:方案层有「四阶段交付门」管推进节奏,每个模块讲义末还挂一页「生产验收清单」——按「验收线 × 必须证明 × 最低证据」列,比如功能过不过评估集、权限扛不扛得住越权测试、退化盯不盯得住在线评估、出事能不能急停回滚。验收线双方签字,"感觉不错"不算一项。
B14我们的资料全是扫描件和图纸,该上原生多模态还是自己拼 OCR + 大模型?
先看版式:版式固定、只要抠字段、要省钱可控 → 拼管线;版式多变、要理解与开放问答 → 原生。拼管线的短板是 OCR 丢了版式和图表语义,「看图推理」答不了。真实系统多是混合:稳定部分走管线省钱,疑难部分原生兜底。中文扫描件重的场景解析默认 MinerU 路线,高价值文档叠视觉模型兜底。定选型的唯一可信办法是拿客户 20 份最难的文档跑对比,永远不用厂商 demo 定选型。
B15视频生成到底能不能商用了?⏳ 口径 2026-07-17
素材级商用已经成立(营销、社媒、预演),成片级还要人工后期——它是「素材工厂」不是「成片机器」,方案里要留后期工位。按用途分层是性价比来源:批量素材走 Fast 档($0.022–0.029/秒)、叙事用故事板、品牌大片才上高保真档,34 倍价差要用起来。合规前置:生成出口打标识、转码保留元数据、真人相关内容走授权链路——「能不能播」比「能不能做」先答。
B16什么时候该派 sub-agent、什么时候一个 agent 就够?⏳ 口径 2026-07-17
按「要结果还是要过程」分堆:可并行、信息面广的任务(深度调研)多 agent 确实强得多;串行依赖强的任务反而更慢更贵还更难调试。先用单 agent 做基线,量化收益后再决定要不要拆。账要摆出来:约 15 倍 token 换来的提升,得任务价值配得上这本账才划算。落地时配深度上限与并发限额——没有上限的扇出就是没有上限的账单。
B17我们已经买了 RPA,Computer Use 有什么不一样?⏳ 口径 2026-10-20
互补不替代:RPA 把流程写死,稳但脆(界面改一个按钮就断);Computer Use 自适应,但慢而贵。落地常态是混合——RPA 跑稳定主干、Computer Use 接变化页面与异常分支,存量投资不浪费。两个基准口径要主动讲:短窄任务 85.96% 已实用、长程多应用只有 20.6%,把短板讲出来反而赢信任,也守住了承诺范围。
B18★我们风控组的评分卡跑了十年,你们这套跟它到底什么关系?
这句话不是异议,是一份资产清单——存量模型是客户拿自己数据训出来的,不用换,也别去碰。分诊只有一问:这个输出要不要拿去排序、卡阈值、结算?要,归预测式,出分那一棒仍是它的;不要,才轮到生成式。能切进去的是它周边那几格:特征的时间语义、上线之后的信号、什么时候该重训,以及把「解释」和「说人话」接到下游。先承认它是资产,后面的话才听得进去。

C · 成本账算得清账是解决方案岗的硬通货

C1★为什么按 token 计费、输出凭什么比输入贵?
计算量真按 token 走:输入一次并行 prefill,每个输出 token 都是一轮完整前向——计费模式是架构成本的直接映射,不是定价策略。
C2语音客服一分钟多少钱?⏳ 口径 2026-07-10
级联约 $0.01–0.17/分钟、可预测;端到端未优化 $0.2–0.5,开缓存和 mini 档能压到 $0.05–0.10。报价按「分钟成本 × 并发 × 时长」算总账。视频类素材另按秒计价,档位差最多 34 倍,见 B15。
C3缓存能省多少钱?⏳ 口径 2026-07-10
主流 API 缓存命中约一折到一成(读折 90% 量级),系统提示、few-shot、工具定义都是高复用段——客服/Agent 场景命中率常见 60–90%,等效价直接砍半以上。报价必问「你的提示词有多少是重复的」。
C4★为什么不全用最便宜的 DeepSeek?
地板档适合批量明确任务;难推理与关键链路要更高档位兜底。三层路由(难题→旗舰、80% 走量→便宜档、敏感→自托管)总成本比全用旗舰低一半以上、比全用地板档少踩坑。路由落地在网关层,降档流量的质量怎么盯见 D13。
C5★两家报价差三倍,是不是有人坑我?
大概率是口径差:档位、有无缓存、输入输出比例假设不同。对齐三个口径再比,可以当场用真实流量假设重算。
C6DeepSeek 为什么那么便宜?
架构设计出来的:MLA 把 KV 缓存压到约 1/10(单卡并发大增),MoE 让大参数每 token 只算一小部分,加自研推理工程——便宜是设计出来的,不是补贴出来的。
C7自建算力和上云到底哪个便宜?⏳ 口径 2026-07-09
取决于利用率:盈亏线约 40–50%——能长期稳过这条线且有运维团队,自建更省;否则云更省。多数客户高估自己的利用率,建议先上云跑三个月拿真实数据再决策。另外提醒 TCO 四件套(折旧/电/机房/人力)里卡价只是首付,五年电费可达卡价两三成。
C8多 agent 协作成本会不会失控?⏳ 口径 2026-07-17
会显著上升——公开口径研究类任务约 15 倍 token。治理三件套:按任务价值分层开、并发限额、token 预算与超额熔断,再配深度上限(一线产品是 5 层封顶或默认 1 层)。先上追踪和预算,再开 multi-agent。派与不派的判据见 B16。
C9上网关到底能省多少钱?⏳ 口径 2026-07-09
三个杠杆叠加:路由把简单流量切便宜模型(省大头)、语义缓存让相似问题零成本命中、预算限流掐掉失控消耗。具体比例看流量结构,别报笼统百分比——先做一次成本画像,再按客户的量和价格口径当场算一版。路由有论文背书(RouteLLM、FrugalGPT):大量简单流量切便宜模型质量几乎无感,不是玄学。
C1070B 模型到底要几张卡?(现场心算版)
看用途:FP8 推理权重约 70GB,单张 141/192GB 的卡装得下,还要给 KV 缓存留并发空间,1–2 张起步;全参训练按「每参数 ×16 字节」算是 1.1TB 级,8–16 张起配;LoRA 居中。两个口袋公式覆盖现场八成显存问题——训练「×16 字节」、推理「权重 + KV」,给出并发和上下文就能当场心算。显存不够先走软件三板斧(量化/KV 分页/切分),再谈加卡。
C11微调要多少数据、多少钱、多久见效?
窄任务几百条优质样本、单卡几小时、两周出第一版可验收的模型。官方口径是 50–10,000 条,窄分类 200–500 条,节奏上先 100 条看信号再放量。大头是数据人力不是算力——报价按成本结构拆:数据准备(人天)+ 训练算力(零头)+ 评估验收 + 迭代运营,最后一项最常被漏报,也最决定成败。

D · 工程保障与翻车题答好这组 = 「这人踩过坑」

D1★提示注入能彻底防住吗?
不能,这是 OWASP 和各大厂公开承认的——病根是指令与数据同通道。能做的是纵深防御:护栏拦已知手法 + 最小权限 + 高危动作人审,让注入成功也偷不走数据、动不了要害。诚实讲边界反而专业——「100% 防注入」的承诺本身就是方案不可信的信号。
D2大模型不就是个聊天框,能有多大风险?
只要它能读外部内容或触发动作,风险就是真的:一段精心构造的文字就可能让它泄密或误操作(EchoLeak 零点击偷 M365 Copilot 数据是真实案例)——这正是 OWASP 单列 LLM Top 10 的原因。在中国落地还有一层法定门槛,见 H 组。
D3幻觉是不是训练没做好?
根源在机制:模型是互联网的有损压缩,知识融在权重里,「解压失真」就是幻觉。训练能压低,工程上治本靠 RAG 提供可溯源事实 + 让模型学会说不知道。
D4系统没报错,但用户说 AI 变笨了,怎么排查?
这是静默退化——基础设施全绿、质量在下滑,传统 APM 抓不到。排查靠质量遥测:评估分趋势、模型版本与提示词变更记录、漂移监测。没这套只能靠猜。
D5★上线之后你们还管吗?管什么?
管,这是运营包五件套:在线评估运营、漂移巡检、发布门禁、事故值守、月度质量报告——每项有清单、有 SLA、有可见产出物,是订阅产品不是售后服务。
D6模型是大厂的,还能悄悄变吗?
能且是常态:API 背后的 checkpoint 会被静默更新,上月验收的模型不等于这月答题的模型。破法是自己的回归集每周重跑——版本变没变,分数会说话。
深潜 → ai-ops#ops-drift
D7改个提示词而已,为什么要走发布流程?
一个词就能改变线上行为。流程不重:注册打 tag、评估门禁自动跑、金丝雀 5–10% 流量(且必须在金丝雀上跑自动评估——这是与传统金丝雀的关键差异)、回滚是改指针秒级生效。
D8★你们的 AI 有没有「刹车」?
两层:急停开关(事故频道一键暂停、保留现场)+ 硬上限(步数/预算/权限边界超限自动中断)。另一个冷知识:成本尖峰常是事故的第一信号——所以成本告警要分钟级。
D9怎么证明 agent 上线后不出乱子?
三层保障:上线前评估集全量回归 + pass^k 稳定性;上线后全链路追踪 + 在线评估盯退化;权限最小化 + 高危动作人工审批(HITL 分级)。多 agent 场景再加一层:并发限额、深度上限与 token 熔断。不承诺不出错,承诺错了兜得住。
D10系统不报错,但效果肉眼变差,你们怎么定位是哪一环坏的?
靠章法不靠猜:RAG 类问题走一张「六段诊断矩阵」,沿检索 → 生成的管线逐段隔离,先定位坏在哪一段再修(大头通常是检索段);线上事故照 runbook 四问收敛——什么变了 / 影响面多大 / 能不能一键回滚 / 证据在哪。有可背诵的诊断框架,排障是走流程不是开盲盒。
D11你们交付的 agent / 工具,是生产级还是 demo?凭什么这么说?
demo 能跑通 ≠ 上得了生产,判据是契约不是演示:Agent 章有一页「六层工具契约」,逐层给出一个工具从 demo 到可上线要补齐的达标线(接口契约、权限边界、错误语义、可观测……);MCP server 侧还要过「两套信任模型」。拿 demo 截图当交付的,用这两个框架一问就现形。
D12语义缓存会不会给不同用户串答、泄露别人的数据?
会——如果缓存键没带身份。正确做法:缓存键里带上租户与权限维度,个性化和含用户数据的请求直接绕过缓存。相似度阈值同理是双刃剑:太松会把「北京天气」当「上海天气」,太紧等于白配——宁可少命中,别答错。这既是成本设计也是安全设计,两边都要签字。
D13自动路由到便宜模型,质量掉了怎么办?
路由是可控降级不是赌博:关键场景设质量优先、固定走旗舰,只对可容忍流量降档;再给降档流量配 1–10% 采样评估,判官打分、超阈值告警,掉了就调阈值。「降档流量谁来盯质量」是网关方案最常被挑战的一点——答案是接评估,并把质量线写进验收。
D14Agent 的记忆会不会被人「教坏」?⏳ 口径 2026-07-11
会,这叫记忆投毒(OWASP ASI06,研究口径注入成功率超 95%)。它和提示注入的区别是持续性:注入随会话重置,投毒跨会话反复发作,像后门,不主动审计发现不了。三道防线:写入过滤并标记来源、任务间清理、鉴权与定期审计——把记忆当数据库管,不当草稿纸。卖记忆功能必须捆绑卖记忆安全。
D15追踪日志里有客户的对话内容,安全吗?
观测系统常是数据泄漏的第二现场——同一个手机号会出现在 span 属性、日志、评估队列三个地方。做法是内容与结构分离:结构全量、内容采样并在采集点脱敏(正则 + 命名实体识别),保留期分级,事故 trace 单独归档。脱敏在采集点做不在展示层,观测系统按「第二数据库」的安全标准建。
D16★模型离线测 0.95,一上线掉到 0.7,问题出在哪?
多半是特征穿越或训练服务偏差,不是模型不行。规矩只有一条:预测那一刻取不到的数据,训练时也不许取。排查按代价从低到高走:先对训练与线上两条路径上同一特征的取值,再查标签窗口有没有把答案揭晓之后的信息拿进来,最后才怀疑模型。穿越有好几种长相,只有一种是「时间」问题——只加个时间过滤会漏掉其余几种。偏差压得小但归不了零,承诺要写成「每天比对一批、超线报警」,不是「保证一致」。

E · 评估与验收所有承诺的最终落点

E1★榜单分数能信吗?
能信一半:标准化统考能快速淘汰不行的,但有污染和刷榜水分。三层走:榜单初筛、Arena 看真实偏好、最后拿客户真题实测——试用期表现才是唯一作数的。
E2让 AI 评 AI(LLM-as-a-Judge),靠谱吗?
校准过的判官与人工一致率能到九成上下,足够规模化初筛;没校准的确实不可信。关键是流程:人工标注校准、判官与被评模型错开厂家(防自我偏好)、高风险人工终审。
E3★我们没数据没标注团队,评估怎么起步?
三条路并行:业务专家半天写 30 题、试运行日志采样、大模型合成再人工抽审。起步 20–50 题就能指导决策,两周从 0 到 100 题很现实。
E4RAG 答错了,是检索还是生成的锅?
分开评:先看检索指标(该命中的文档进没进前 k),命中了再看忠实度(答案是否只基于材料)。经验上大头是检索的锅——验收时两端各设指标。
E5★评估体系要建多久、多少钱?
最小可用两周:50 题黄金集 + 判官校准 + CI 接入,一名工程师加业务专家兼职。工具开源免费,主要成本是判官推理费——量级远低于一次返工。
E6换了新模型,评估要重做吗?
题集和细则不用重做——这正是资产价值:直接跑回归对比新旧,只有判官抽查一次一致率。有评估体系的客户,换模型是一天的事。
E7Agent 这种多步任务怎么验收?
双轨加五层:结果通过率管「办成没有」,轨迹检查管「过程对不对」,再往下拆工具使用、安全、效率;多次运行看 pass^k。先和客户共同定义 20 个代表性任务当验收集,并专门造扰动用例(工具报错、返回为空、用户改主意)——Agent 的价值恰恰体现在异常处理上。只评结果会放行「危险的成功」:任务办成了,但中途越过了权限。
E8微调完的模型,怎么证明没「变笨」?
训前先冻结一套与训练数据无重叠的通用回归集,训后必须先过回归再上线;交付报告里「新能力」和「老底子」两组数字都给。只看 loss 会把「偏科」当「进步」——灾难性遗忘是微调最隐蔽的风险,回归门禁是唯一系统性的防线。把「训完给回归报告」写进服务承诺,既专业又给自己留质量凭据。
E9你们能承诺多少并发?
并发本身不是好指标——同样 1000 并发,128 token 的短问答和 50K 的长文档差百倍资源。按流量画像承诺三件事:首字延迟与逐字延迟的 P90 服务目标、goodput 容量、超量时的降级策略。裸并发数最容易被拿去对比、也最容易失真;goodput(满足服务目标的吞吐)才是能签进合同的口径。容量表按压测拐点的七八成报。

F · 基础原理与协议技术深度追问的防线

F1★用一句话给 CEO 讲什么是大模型?
一台「下一词预测机」:读过互联网量级的文本,把知识压进几千亿参数,生成每个词时靠注意力从上下文挑最相关的信息。能力来自规模,成本也来自规模。
F2为什么模型回答一个字一个字蹦?
工作原理如此:每个词依赖前面所有词,本质串行,任何厂商都一样。流式反而是优点——首字几百毫秒就到。产品正解是拥抱流式、把首字时间做小。
F3★私有化部署为什么并发上不去?显存明明够装模型。
装下权重只是入场券,真正的座位是剩余显存里的 KV Cache:每路对话占一段、随轮次膨胀。并发上限 ≈ 剩余显存 ÷ 每请求 KV——这笔账可以现场算,卡数怎么估见 C10。
F4量化会不会把模型变笨?⏳ 口径 2026-07-09
FP8 校准后损失通常 0.5–2%,是 2026 年生产默认精度。稳妥做法:拿业务评测集做上线门禁——损失可测可控,不是赌博。数学/代码类任务敏感,按任务分档。
F5★MCP 和 Function Calling 什么关系?
不替代:Function Calling 是模型「决定调哪个工具」的能力,MCP 是「工具怎么被标准接入」的协议(会用手 vs 统一插座标准),MCP 内部仍用 function calling 决策。
深潜 → mcp#mcp-what-why
F6A2A 和 MCP 到底啥区别?
MCP 连工具/数据(纵向),A2A 连 Agent(横向),一个系统常两个都用。都已捐给中立基金会(AAIF / Linux Foundation),不是私有协议。
深潜 → a2a#a2a-what-why
F7微调会不会把模型调坏?
有「灾难性遗忘」风险但可控:LoRA + 保守超参 + 通用回归门禁三层保险,每版双达标(目标任务+通用能力)才放行,随时秒级回滚。怎么证明没变笨见 E8。
F8为什么训练要几千张卡,推理几张就行?
两笔账不同:训练每参数要存权重、梯度、优化器状态约 16 字节,数周内吃完数万亿 token;推理只装权重、一次算一批。这也是训练与推理集群分开设计、分开报价的原因。
F9参数量 7B、70B 到底意味着什么?
主要是前馈网络这个「知识仓库」和注意力矩阵的规模——参数大头(约三分之二)在前馈网络。参数越大记的知识越多,推理成本同步涨;MoE 就是想把「记得多」和「算得贵」解耦。最常见的误解是把参数账当显存账:推理时显存大头常是 KV 缓存而不是权重,混淆这两笔账,容量规划必错。
F10模型知识为什么会过时?能打补丁吗?
知识压在前馈网络的权重里,截止于训练数据。改权重(微调)成本高且容易误伤别的能力;主流做法是外挂检索——新知识放库里,模型负责理解与组织。这正是「改知识用 RAG、改行为用微调」这条选型边界的架构根据,不是经验之谈。
F11为什么我说「不要 X」它还是做了?
模型更擅长执行「做什么」。把否定改成正向指令——「请用简洁短句」而不是「不要啰嗦」——通常立刻见效。同理的还有「例子里没有的类,模型就当它不存在」:很多「不听话」其实是 few-shot 例子没覆盖边界,或者格式不一致。这是交付期最省钱的一类修复,不用动模型。
F12长任务客户端断了怎么办?
用推送通知:注册回调地址,任务完成或状态变更时服务端回调你——客户端不用挂着连接,天然适配离线与批量。四种交付各有代价:阻塞占连接、轮询会陈旧、流式要处理断线与背压、推送要防重复投递与回调伪造(幂等 + 地址校验 + 签名)。口诀是短活阻塞、简单轮询、看进度流式、长任务推送。

G · 平台与接入「这一层要不要、买还是自建」

G1★我已经有 API 网关了,为什么还要 AI 网关?
不是取代,是增强:多了按 token 限流与计费、多模型语义路由、语义缓存、注入与个人信息护栏——这些普通网关没有。很多产品(Kong、APISIX、Higress)本身就是同一网关的「AI 模式」,平滑升级即可,迁移成本近零。这题答成「换掉重建」就把客户推走了;正确姿势是在存量投资上加层。先查对方现有网关有没有 AI 插件,有就按升级路径报,没有再谈新建。
G2我们有几百个内部 API 要让 Agent 用,是不是要一个个改造?⏳ 口径 2026-07-10
不用。openapi-to-mcp 读 OpenAPI 描述,批量把存量 API 转成 MCP 工具,再由网关统一托管鉴权与限流——存量资产几乎零改造就能被 Agent 安全调用。不是重写业务,是给旧电器配智能插座。配一句权限话术:网关做令牌交换(RFC 8693),把用户真实身份换成「受众限定、最小权限、短时效」的窄票,Agent 手里永远没有万能钥匙——令牌透传是规范级红线。
G3我们卡不多,直接 SSH 上去跑不行吗?
几张卡、一个团队时够用。但卡数或用卡的人一多,SSH 模式立刻失控:抢卡、空转、互相踩踏。无管理集群常年 10–20% 利用率,上调度和配额后翻倍很常见——等于「不花钱多买了一倍的卡」,是整个 AI 投资里回报最高的一环。四问体检任何 GPU 环境:谁在用哪张卡、利用率多少、作业挂了会怎样、训练崩了能不能自动恢复。
G4★有了 vLLM 这些引擎,为什么还要一套推理平台?
引擎把单个模型跑快,平台把它变成能扛生产的服务:多副本高可用、按流量弹性、灰度发版、KV 感知路由。能跑 demo 和能扛百万请求,差的就是这一层。运维差异也要讲:推理扩缩看队列、首字延迟和 KV,不看 CPU;冷启动是分钟级,所以要提前预测、留热备。训练推理还能同集群混部——推理保基线、训练填谷做低优。
G5一张卡到底能给几个团队用?
先问租户之间信不信任:互不信任用 MIG 硬件切分,最多 7 个隔离实例;内部可信任务用时间片或 HAMi,能切更多但隔离弱。三把尺子定切法——显存隔离、故障隔离、灵活度。切分对「小而多」的推理场景立竿见影(15% 到 70%+),但大训练反而要反着来,把多张卡合成一张用。
G6不用 NVIDIA 到底行不行?⏳ 口径 2026-07-09
分负载:标准推理 2026 年已经行——vLLM 等框架多后端成熟,AMD、国产、ASIC 都有生产案例;大规模定制训练仍建议留在 CUDA 生态。常给的是「训练用 N 卡、推理第二供应商」的混合方案,顺带增加议价权。护城河是二十年生态不是芯片,换芯片的真实成本是软件移植和踩坑时间——「负载是否标准」是能不能离开的钥匙。国产线要把合规与供应链硬约束排在前面。
G7★网关 / 平台,我们该自建还是买托管?
三问定档:有没有专职基础设施团队、负载类型稳不稳、要多快上线。没团队或要快 → 托管起步;有团队、负载稳定、压长期成本 → 自建。绝大多数客户是「托管起步 → 按需转自托管或混合」,不用一步到位。要主动讲自建的隐藏成本:调度、切分、容错、观测四列活,尤其容错自愈最难——托管的溢价买的正是这些。自托管网关本身还会成为新的单点,要多副本、健康检查、多区域。
G8Dify 是开源的,我们为什么要付钱?
开源解决「能不能用」,商业解决「谁来兜底」:托管、治理、服务等级协议与升级保障。先开源验证、规模化再评估商业版。许可证还有暗礁:Dify 是 Apache 2.0 加附加条款(多租户对外服务、去 logo 要商业授权),n8n 是 fair-code 不得转售——「开源」两个字底下各家边界差很多,把要点写进方案,别等客户法务来问。

H · 合规与数据主权答错不是丢分,是丢单或踩线

H1★我们私有化部署、只给内部员工用,要备案吗?⏳ 口径 2026-07-17
暂行办法管的是「向境内公众提供服务」——纯内部自用不适用备案,但数据安全与个人信息保护义务照常;一旦对外(哪怕只是个小程序)就要重新分诊。分诊三问是中国合规的入口:自研或微调模型向公众提供服务 → 服务备案(全流程 5–8 个月,北京 8–10 个月,无加急通道);调用已备案模型做应用 → 应用/功能登记(地方网信办,周级);纯内部自用 → 不适用。最常见的误区是把「登记」当「备案」自己吓自己。截至 2026-08-31 累计 1112 款服务完成备案——这是常态动作,不是拦路虎。
H2★不打 AI 标识会怎样?⏳ 口径 2026-07-17
2025-09-01 起是法定义务,配套强制国标;已经有 App 因标识违规被约谈、下架——真正的代价是产品下线与渠道信任,不只是罚款数字。两层都要落:显式标识给人看(生成入口就近打标)、隐式标识给机器看(元数据或水印,导出链路别洗掉)。工程做法是把标识做成生成服务的默认输出、服务端注入,别靠各业务前端自觉补——审计时查得出、改得动。
H3数据能不能出境?走哪条通道?⏳ 口径 2026-07-17
先查豁免再谈通道:《促进和规范数据跨境流动规定》有六类豁免,自贸区另有负面清单;豁免不了才走三通道——安全评估(重要数据与大规模个人信息必走)、标准合同(中等规模常用)、保护认证(集团内跨境)。客户问这题先反问三件事:是不是重要数据、涉及多少人的个人信息、在不在自贸区清单内。还有一条要说清:云平台能帮到材料与护栏,但法定「服务提供者」义务不转移,审核、标识、投诉、备案主体一样不能少。
H4★我们的数据会不会被模型学走、被别人问出来?
用 RAG 不会——数据留在你的库里、带权限、可随时删,不进模型参数。只有拿敏感数据去微调再对外提供才有这个风险,那种场景用脱敏、隔离甚至差分隐私来兜。「RAG 优于微调」是数据安全侧最有力的一张牌。另一半提醒要主动给:向量化不等于匿名化,嵌入能被部分反推,该脱敏还得脱敏;多租户场景补一句带权限的检索和租户隔离,否则 A 的问题可能命中 B 的文档。
H5向量化之后是不是就安全了?删除能真删干净吗?
两个都不自动成立。向量化不等于匿名化——嵌入在一定条件下能部分反推原文,敏感数据进库前照做脱敏、向量库照做权限隔离。删除要三处联动:向量库、缓存、衍生数据(评估集、训练集候选)一起清并留审计痕。最容易翻车的是评估集——坏例回流时复制过的文档片段常被遗忘。「一键遗忘」是设计出来的能力,不是数据库自带的。上线门禁跑越权测试集(20 问零泄露),权限变更后重跑。
H6用开源模型微调出来的模型算谁的?
权重归你,但受基座许可证约束:MIT / Apache 基座的衍生模型基本自由;Llama 基座的衍生模型继承其条款,含命名义务。蒸馏是隐蔽雷区——用 Llama 蒸馏出的学生模型仍可能带 Llama 条款,这个坑法务常常也不知道,提前点出是加分项。微调方案里加一行默认检查项:基座许可证与衍生条款已核对。
H7用 GPT 生成的数据训我们的模型,合规吗?
取决于所用模型的服务条款——各家对「产出能否用于训练」约定不同,方案里写明数据来源与条款依据是标准动作。合成数据已经是主流来源(种子 → 扩量 → 判官过滤),但合规红线要先踩实:权属与出域两问答不好,技术再好也进不了采购。数据流水线里把个人信息清洗设为刚性前置。
H8我们要出海,EU AI Act 要做什么、什么时候?⏳ 口径 2026-07-09
先看业务是否触达欧盟。触达的话:通用模型义务 2025-08 已生效,执法与罚款 2026-08 启动(最高全球营收 7%),存量模型 2027-08 前整改完——现在就该倒排。治理框架组合用:NIST 风险管理框架给自评骨架、ISO 42001 给可认证体系、EU AI Act 是法律底线,对外招标常要求前两个。落地从盘清 AI 资产开始——不知道自己有多少模型和 Agent,就无从谈合规。
H9★我们想建 AI 治理,第一步做什么?
第一步是按用途登记,不是按模型登记。同一个模型用在两个场景是两条不同的风险,登记「模型清单」看着齐全,出事时答不出「这件事谁批的」。一条用途记四样就够起步:干什么用、谁是责任人、影响谁、出错的后果是什么。这张表建起来,风险分层、影响评估、证据包才有挂靠的对象。别一上来就写制度文档——文档不会替谁作决定。
H10这个 AI 用途谁批的、凭什么批的?出了事怎么算?
治理的实质是一套决定系统:每个用途都落到五种决定之一——批准、条件批准、例外、暂停、退役,每条决定写死条件、日期、落款人和失效条件。「凭什么」靠证据包回答:测过什么、红队打过没有、影响评估的结论,以及这些证据绑在哪个版本上。判据是不在场的人能不能照着重做一遍这次判断——重做不了,那份材料就不算证据。还要讲清什么会让批准失效:换模型版本、扩用途、自主度从「给建议」升到「自动执行」,都要回炉重批。

附 · 四个万能兜底话术

兜底被问没听过的名词
用框架接住——「它是压 KV、减计算还是榨硬件的?」(架构类)/「它属于哪一层:入口、编排、模型、数据、保障?」(方案类),然后坦诚回去核实细节。
兜底被要求承诺数字
承诺测法不承诺数字——评估集、基线、签字验收线。
兜底被质疑数字来源
每个数字给出处和日期,并主动说「任何不带日期的模型数据都值得警惕」。
兜底被问「我们已经有 X 了」
增量价值三问接住:它治的是不是同一类问题(Datadog 管挂没挂、AI 观测管答得对不对)/去掉这层谁来兜/增量成本对增量收益。基本盘永远是「不是取代,是在存量投资上加层」——API 网关加 AI 模式、推理引擎加平台、RPA 加 Computer Use,都是同一个答法。

共 95 题(★ 必背 27 题)+ 4 条兜底 · 时效机制与引用映射见 _prep/MANIFEST.md · 生成于 2026-07-10 · 末次更新 2026-07-22