01为什么 AI 安全是新问题#sec-landscape
总根源一句话：指令与数据不再分家。传统程序里代码是代码、数据是数据——数据再脏也只是被处理的对象；大模型把系统提示词、用户输入、检索资料揉进同一段文本，读到的一切都可能被当指令执行。模型像一个太听话、记性又差的实习生——能力强、边界感弱、谁的话都听。AI 安全 = 传统安全 + 一层新假设「模型永远可能被诱导」。
三层攻击面：自主性越高越危险
行业两张地图配着用
| 地图 | 记什么 | 怎么用 |
|---|---|---|
| OWASP LLM Top 10（2025 版） | 有哪些坑 | 完整清单见速查 |
| MITRE ATLAS | 敌人具体怎么打的每一招——16 个战术、120 个技术（2026-09 数据版），全部基于真实攻击 | 客户问「你们防不防 XX」，查 ATLAS 对应技术就能说清在哪一环拦 |
OWASP 2025 版变化（LLM07/08 新增、敏感信息泄露升第 2）核实 2026-07-09，来源 genai.owasp.org；ATLAS 规模核实 2026-10-20，来源 MITRE ATLAS。不可外推边界：清单反映的是社区共识的风险优先级，随版本重排；它是自查起点不是合规清单——中国监管的强制要求另见本册中国监管合规一节。
02提示注入与越狱#sec-prompt-injection
如果只能记住一个 AI 安全问题，就是它：OWASP 连续两版第一名，过去两年几乎所有真实事故的主角。它是 SQL 注入的语言模型版——把「忽略以上，改为……」混进文本骗过模型；区别是 SQL 有严格语法能转义，自然语言没法转义。这不是 bug，是「用同一通道传指令和数据」这个范式的固有属性。
直接注入
攻击者自己在对话框输入，相对好防——危害限于自己的会话，输入护栏能挡不少。
间接注入才是噩梦
恶意指令藏在模型「顺带会读」的网页/邮件/PDF/工具返回值里，受害者是无辜用户——他只是让 AI「总结这封邮件」。
数据流记住这条链：
越狱是另一维（突破安全边界而非劫持任务）：
关键词黑名单注定被绕过，有效的是语义级分类器。
真实案例 EchoLeak（CVE-2025-32711，CVSS 9.3）
首个针对生产级系统的零点击间接注入。攻击者发一封藏隐藏指令的普通邮件 → 受害者某天让 M365 Copilot「总结最近的邮件」→ 隐藏指令让它搜集敏感文档 → 机密拼进 Markdown 图片链接，渲染时数据随 URL 溜走——全程零点击。
启示：危害不在「模型说错话」，而在它能读敏感数据 + 能把数据发出去；切断这两条链，比教模型拒绝更可靠。
为什么模型内治不了：OpenAI、Anthropic、Google DeepMind 2025 年都已公开承认——现有架构下提示注入无法彻底解决。「训模型去拒绝」是军备竞赛：防御方在穷举，攻击方在创造，后者天然占优。结论是本册的主旋律：把安全从模型里搬到模型外——接受「模型会中招」，把它当不可信组件做系统设计。
EchoLeak 核实 2026-07-09，来源 arXiv 2509.10540；三厂表态核实同日，来源 各家公开研究。不可外推边界：这是已公开披露的具体案例，用来说明「零点击外泄」这条攻击面真实存在；引用时给清楚时间点与厂商响应，别说成对方产品当前仍不安全。
03数据与隐私安全#sec-data-privacy
客户最放不下心的一句话：「我们的数据会不会被它学走、漏出去？」本节横跨 OWASP 四条风险，本质都是数据在管线里的进（投毒）、存（隔离）、出（泄露）三个环节。
出：两类泄露
| 类型 | 漏什么 | 对策 |
|---|---|---|
| 敏感信息泄露 LLM02，2025 升到第 2 | PII、密钥、内部文档，经输出 / 日志 / 错误信息漏出 | 真密钥放模型够不到的地方（网关、密钥管理服务）；输出侧加敏感信息过滤 |
| 系统提示词泄露 LLM07，新增 | 被套问出规则，甚至误写进去的 API key | 系统提示词按「一定会泄露」来写 |
模型像嘴不严的管家——问题不在钥匙，在「谁问都答」。
「模型会记住训练数据吗」要分场景答
用公开模型做推理通常不会；拿客户 PII 微调再对外提供才有记忆化与成员推断风险——脱敏、去重、隔离、高敏用差分隐私。所以 RAG 往往比微调更安全：数据留在库里、带权限、可溯源、可删除，不烧进权重。
进：投毒三时机，门槛递降、越贴近应用方越可控——
RAG 侧三道闸当场能落：数据准入、来源可信、写入鉴权。存：向量库是新入口（LLM08）：检索投毒、跨租户泄露（A 的问题命中 B 的文档）、嵌入反演——向量化 ≠ 匿名化。对策：带 ACL 的权限过滤检索 + 多租户隔离 + 入库审校。 RAG 侧工程细节在 RAG 网页版。
04供应链与模型来源#sec-supply-chain
AI 供应链四环节：模型、数据、依赖、插件——比传统软件多前两环，都来自外部、都难审查。像自家种的菜 vs 进口食材：不查产地、不看有没有被掺东西，出事只是时间问题。入口关是最便宜的防线：在引入那一刻拦，远比运行时补救省。
模型即代码
很多权重用 pickle 格式存储，加载时会执行其中的代码——一个被做过手脚的模型文件，load 的瞬间就能跑任意命令；后门模型「平时乖、遇暗号发作」，常规测试完全看不出。
对策：优先 safetensors 等不执行代码的格式、沙箱加载、模型扫描。
「能跑」不等于「可信」——可信靠证据：
准入门禁查两样：AI-BOM 是清单，四层工件是证据链——
只签容器不签模型和数据，等于安检只查行李不查人；组合发布把全部组件一起固定，任一撤回都能定位受影响部署。MCP 工具生态的供应链面（工具描述投毒）在下一节与 MCP 网页版。
05Agent 与工具安全#sec-agentic
Agent 是风险放大器：自主 × 工具 × 记忆三个乘数，注入后果从「说错话」升级到「做错事」。第 1 节那个太听话的实习生，现在手里多了公司的钥匙、邮箱和支付权限。 Agent 安全的核心是「控权」不是「防话」——既然拦不住它被骗，就限制它被骗之后能干什么。
三种「过度」，任一种都放大后果
过多功能
给了用不到的工具。
过多权限
工具权限超所需。
过多自主
高危动作不经审批。
爆炸半径 = 一次被攻破最多波及多大范围：只读 Agent 半径小，能删库 / 转账 / 群发的半径巨大。对策落地三件套：scoped 短期身份 + 每动作授权 + 不可逆动作人在环上（HITL）。
两个新攻击面
| 攻击面 | 怎么打 | 怎么防 |
|---|---|---|
| 工具描述投毒 | Agent 靠工具的自然语言描述决定怎么用——2025–2026 已有把恶意指令藏进 MCP 工具描述、接管编码 Agent 的真实案例。还有混淆代理：Agent 拿高权限身份替低权限攻击者办事 | 工具描述当不可信输入审；身份不下传 |
| 记忆投毒 | 诱导写进长期记忆，之后每个会话都被污染，已有跨会话存活案例 | 不可信内容进记忆前过滤、任务间清临时上下文 |
身份体系要三条链分开
| 链 | 答什么 | 长什么样 |
|---|---|---|
| 身份链 | 你是谁 | 每跳都能回答现在到底是谁 |
| 授权链 | 你能干什么 | 授权书只写查询余额，不含转账 |
| 凭据链 | 凭什么信 | 短期签发、轮换撤销、审计关联 |
最常见翻车：「用户同意过」被当成无限委托，Agent 拿宽 scope 长效 token 到处用。正解是每个资源服务器独立核验，下游凭据绝不回传给模型。
OWASP Agentic 威胁地图（2026）按能力分五类：目标劫持 / 记忆 / 规划与自主 / 工具使用 / 部署运营——缓解主线就是身份隔离 + 每动作授权 + HITL 提权 + 强可观测。编排侧视角在 Agent 网页版。
06防护工程：护栏 · 模式 · 红队#sec-defense
「模型外兜底」具体化成三样：
纵深防御四道闸：输入闸（注入检测/PII 过滤）→ 动作闸（最小权限/参数校验/HITL——Agent 时代最关键）→ 输出闸（敏感过滤/输出当不可信数据，别直进 SQL/HTML/shell）+ 监控闸全程兜底。单点护栏必被绕过。
这四道闸多数不用重建：真正全新的只有语义那一闸——注入是一段语法完全合法的自然语言，既转义不掉、也没有固定特征可匹配；动作闸、输出闸、监控闸在成熟的安全体系里都有对应件（权限、敏感数据防护、告警与审计），AI 侧要换的是判据——权限从按系统授权改成按每个动作授权，告警从看流量改成看得见调用链。所以在已有安全体系上做 AI 安全，多数时候是接线，不是另起炉灶。
| 护栏工具（2026 格局） | 形态 | 特点 / 适用 |
|---|---|---|
| Llama Guard | 开源 | 输入/输出安全分类器，常作第一道语义闸 |
| NeMo Guardrails | 开源（NVIDIA） | Colang 定义对话/动作策略，<100ms，复杂对话边界 |
| Guardrails AI | 开源 | 50+ validator，强在结构化输出校验 |
| Lakera Guard | 商业（Check Point） | 实时 AI 防火墙，单 API 查注入/越狱/PII，接入快 |
| Bedrock Guardrails | AWS 托管 | 6 类策略：内容/拒绝主题/敏感信息 + 上下文接地 |
| Azure AI Content Safety | Azure 托管 | 内容审核 + Prompt Shields 防注入/越狱 |
怎么选：多数生产系统组合 2–3 个——语义注入分类器 + 敏感信息过滤 + 按需的结构化校验，别指望一个工具包打天下。架构级防注入六类模式（研究综述归纳）：Action-Selector （只能从预定义动作里选）、Plan-Then-Execute（执行中读到的不可信内容不能改计划）、 Dual LLM（分权）、Code-Then-Execute（生成受限程序再安全执行）、Context-Minimization、 Map-Reduce（拆块隔离）——共同思路：不训模型拒绝，用结构限制「不可信内容能影响什么」。
双 LLM / CaMeL 深潜（目前评估最充分的防御）
在 AgentDojo 上以可证明的安全解决约 77% 任务——这是「有效但不够」的定量证据，所以还要纵深。
红队把防线常态化验证
PyRIT（微软开源）自动生成攻击、多轮诱导、给攻破率报告，按 ATLAS 选题；接进 CI，每次改 prompt / 换模型都跑，打穿的用例修复后固化成回归——攻破率指标汇入 Evaluation 网页版的安全维度验收。
CaMeL 77% 核实 2026-07-09，来源 arXiv 2503.18813；六类模式来源 arXiv 2506.08837。不可外推边界：77% 是论文基准环境下、对已知攻击集合的防护成功率，不是生产承诺，对未见手法没有保证——所以它在本册被放在纵深防御的一层，不是终点。
07治理与合规框架#sec-governance
技术防护再好，大客户还会问：「你们符合哪些框架？出了事怎么向监管交代？」治理拼图四块，位置摆清就很专业：NIST AI RMF 给方法论、EU AI Act 给法律底线、ISO/IEC 42001 给可认证的体系、MITRE ATLAS 给威胁情报。
三套框架各管一段
| 框架 | 是什么 | 用来干什么 |
|---|---|---|
| NIST AI RMF | 四大功能：Govern（建治理机制）/ Map（识别风险）/ Measure（量化评估）/ Manage（处置监控）。GenAI Profile（AI 600-1，2024）另列 12 类风险和 200+ 条可操作建议 | 自愿性框架但被当事实标准——像 AI 版的质量管理循环，给自评骨架 |
| EU AI Act | 法律底线，见下方时间线 | 涉欧盟业务必答 |
| ISO/IEC 42001 | 第一个 AI 管理体系国际标准（类似 ISO 27001 之于信息安全） | 对外招标的通行证 |
EU AI Act 硬时间点
企业落地三步：盘清 AI 资产（不知道公司里有多少模型和 Agent 就无从谈治理）→ 定策略设门禁（模型准入/数据分级/上线红队/高危审批做成 CI 门禁）→ AI-SPM 持续监控（Defender for Cloud / Security Command Center / GuardDuty 组合）。治理是持续过程不是一纸报告——文档是结果，不是目的。
EU AI Act 时间线核实 2026-08-01（Digital Omnibus 修正案 Regulation (EU) 2026/1744，2026-07-24 刊《官方公报》、07-27 生效），来源 欧盟官方。不可外推边界：时间线是官方节点，适用与否取决于业务是否触达欧盟以及风险分级；日期本身不构成对某个具体产品的合规判断，以法务核定为准。
08中国监管合规#sec-china
在中国落地 AI，合规是上线前的门票，不是上线后的补课：备案全流程 5–8 个月、内容标识 2025-09 起是法定义务、安全国标 2025-11 已实施——三件事都已进入执法期。截至 2026-08-31 累计 1112 款服务完成备案、731 款应用完成登记——说明这是常态动作，不是拦路虎。
分诊三问定路线
最常见误区是把「登记」当「备案」自己吓自己：
| 你是哪种 | 走哪条路 | 要多久 |
|---|---|---|
| 自研 / 微调模型向公众提供服务 | 服务备案 | 算法备案约 2 个月 + 大模型备案 3–6 个月，全流程 5–8 个月（北京 8–10 个月），无加急通道——排进产品计划 |
| 调用已备案模型做应用 | 应用 / 功能登记 | 地方网信办，周级 |
| 纯内部自用 | 暂行办法不适用 | 数据安全与个信义务照常 |
备案材料三件硬货（按 GB/T 45654 口径）：语料标注规则、拦截关键词库（覆盖 17 类风险，建议 ≥1 万词）、评估测试题集。罚则最高 10 万 + 暂停更新——真正的代价是「不能上线」。
两个已生效的硬约束
内容标识
《AI 生成合成内容标识办法》2025-09-01 施行 + 强制国标 GB 45438-2025。显式标识给人看（生成入口就近打标）、隐式标识给机器看（元数据 / 水印，导出链路别洗掉）。已有 App 因违规被约谈下架——代价不是罚款数字，是产品下线。
安全国标 GB/T 45654-2025
2025-11-01 实施：训练数据 / 模型 / 安全措施三方面、五大类 31 小类风险，备案安全评估按它出。
法规栈
| 暂行办法 | 2023-08，总纲 |
| 算法推荐规定 | 2022-03，算法备案依据 |
| 网络安全法修订新增 AI 专条 | 2026-01-01 施行 |
风向（2026-08 口径，易过期）：AI 综合性立法已列入国务院 2026 立法计划；《人工智能拟人化互动服务管理暂行办法》2026-04-10 五部门公布、2026-07-15 施行——拟人化情感互动服务首次有了专门规矩；同日网信办公布首批 7 款手机端侧生成式 AI 服务备案（Apple 智能、小艺、蓝心等）——端侧作为新品类首次单开清单。
数据出境先查豁免再谈通道：《促进和规范数据跨境流动规定》六类豁免 + 自贸区负面清单；豁免不了走三通道——安全评估（重要数据/大规模个信必走）、标准合同（中等规模常用）、保护认证（集团内跨境）。客户问「数据能不能出境」先问三件事：是不是重要数据、多少人的个信、在不在自贸区清单内。云平台（火山引擎备案材料支持、阿里云百炼护栏默认挂载与备案指引）帮到材料与护栏，法定「服务提供者」义务不转移——审核、标识、投诉、备案主体一样不能少。
备案量/标识执法/国标/出境口径核实 2026-07-17；立法风向（拟人化办法施行、首批端侧备案）核实 2026-08-01，来源网信办公告与官方文本。
09速查：威胁 → 防护 → 合规#sec-cheatsheet
| OWASP LLM Top 10（2025） | 主防护手段 | 本页位置 |
|---|---|---|
| 01 提示注入 | 输入护栏 + 最小权限 + 双 LLM/CaMeL | §2·§6 |
| 02/07 信息与提示词泄露 | 输出敏感信息过滤 + 秘密不交模型保管 | §3 |
| 03 供应链 | 来源验证 + 安全格式 + 扫描 + AI-BOM | §4 |
| 04 数据/模型投毒 | 数据准入 + 去重脱敏 + 隔离 | §3 |
| 05 不当输出处理 | 输出当不可信数据，进 SQL/HTML 前净化 | §6 |
| 06 过度自主 | 最小权限 + 每动作授权 + 不可逆动作 HITL | §5 |
| 08 向量/嵌入弱点 | 带权限检索 + 多租户隔离 + 写入鉴权 | §3 |
| 09 错误信息 | 接地检查 + 引用溯源 + 人审高风险输出 | §6 |
| 10 无限消耗 | 限流限额 + 成本/异常监控 | §6 |
一句话总纲：假设模型会被骗 → 收敛它的权限与数据 → 四道闸兜底 → 红队和治理持续验证。云上就近落地：护栏用托管的、敏感数据用 DLP 类、态势用 AI-SPM、权限用 IAM——服务名会更新，以各云最新文档为准。
这条总纲同时划出对外能承诺什么：能承诺的是「被挡住、被看见、能止损」——闸拦得住、检测看得见、急停开关拉得动；不能承诺「不会出事」，因为注入在模型内根治不了是三家模型厂自己说的。承诺绝对安全的那句话，出一次事就全盘失信。
安全验收：攻击可复现、控制可阻断、事件可止损
安全方案不看「上了几个产品」，看四段能不能闭环：
| 段 | 验什么 | 证据 |
|---|---|---|
| 边界 + 预防 | 资产 / 身份 / 数据与能力边界清楚，高风险路径有多层控制 | 威胁模型 + 责任人；策略、最小权限、沙箱 |
| 检测 | 异常与攻击可观测、可按切片看 | trace、审计、告警（接 AI-Ops） |
| 响应 | 能力可快速撤销 | token / 工具 / 网络出口三个急停开关都演练过 |
| 恢复 + 治理 | 版本可回退、数据可修复；剩余风险有签批 | 回滚 + 删除 + 回归样本；例外有期限与复核 |
终极判断：从一条攻击路径能一路追到控制、检测、止损、恢复、责任人与剩余风险——「模型拒答了」不等于纵深防御成立。
AI 应用风险与合规自查器
勾选你的应用具备的能力，得到该重点防的风险、对应防线和合规路线——逻辑完全来自上文各节与速查表，不新增任何事实。
10上云怎么落地#cloud
前面几节按威胁和框架排。这一节换个视角：每个安全动作在云上对应哪些现成服务、该顺着追问客户什么、哪些事云替你做不了。按「进出闸—控权与监控—国内合规」排，按客户已有云栈就近落地，不绑死一家。
同一环节给多厂商代表选项，不绑死单一供应商；只列有真实云关联的环节，没有就不硬凑。服务能力以各云 2026 年现状为准，报方案前按当期文档复核。
进出两道闸：护栏与敏感数据用托管的
| 技术环节 | 代表性云服务（多厂商，非绑定） | 给客户一句话 |
|---|---|---|
| 护栏 / 内容安全 | Bedrock Guardrails / Azure AI Content Safety + Prompt Shields / Model Armor、Vertex 安全 | 托管护栏当第一道语义闸；多数生产系统组合 2–3 个，别指望一个工具包打天下 |
| 敏感数据发现 | Macie / Purview / Sensitive Data Protection（DLP，Data Loss Prevention） | 敏感数据用 DLP 类服务先找出来，输出侧再挂一道敏感信息过滤兜底漏网 PII |
顺着追问什么：你们最后要拦的是哪一类——注入越狱，还是 PII 和敏感词往外漏？公司里现在有没有 DLP 类工具在管非 AI 的数据，能不能直接接过来？模型的输出接下来去哪：直接进 SQL、拼进页面，还是丢给 shell？
云替你做不了什么：托管护栏拦的是它认识的那些类目，而注入是一段语法完全合法的自然语言，既转义不掉也没固定特征——单道闸必被绕过，输入、动作、输出加监控四道叠起来才算纵深。DLP 能把 PII 找出来，替你决定不了「机密级文档到底进不进通用问答库」，那条分级线得你自己画；也别把向量化当脱敏，嵌入在一定条件下能被部分反推。
收权限、看得见：身份、态势与红队
| 技术环节 | 代表性云服务（多厂商，非绑定） | 给客户一句话 |
|---|---|---|
| 身份 / 最小权限 | IAM（Identity and Access Management）细粒度 + 短期凭据 / Entra ID + 托管身份 / IAM + Workload Identity | 给 Agent 一个 scoped 的短期身份，任务结束即失效，每一步动作留痕可审计 |
| AI 安全态势（AI-SPM） | GuardDuty + Security Hub CSPM / Defender for Cloud AI-SPM / Security Command Center | 持续发现和评估 AI 资产的风险，把治理变成天天在跑的监控，而不是上线时补的一份合规文档 |
| 红队 / 测试 | PyRIT（微软出品）；AWS 与 Google 侧自建 + PyRIT | 把攻击自动化、做成上线前的门禁，让防线被常态化验证 |
顺着追问什么：Agent 现在拿的是自己的短期凭据，还是一个通用的高权限账号？哪些动作是不可逆的——转账、删库、群发——这几个现在需不需要人点头？还有一句得先问出口：公司里到底有多少模型、Agent 和数据管线，有没有一张清单？没有清单，后面的门禁和监控都无从谈起。
云替你做不了什么：IAM 发得出短期凭据，替你判不了「这个动作该不该做」——哪些不可逆动作要人在环上，是业务定的策略，权限系统自己推不出来。AI-SPM 把资产和风险摆出来，改不了研发流程；安全动作嵌不进日常准入、门禁、监控，看板再全也只是好看。红队跑出的攻破率证明的是已知手法被挡住了，对没见过的招式没有保证。
在中国上线：平台帮你到哪一步
| 技术环节 | 代表性云服务（多厂商，非绑定） | 给客户一句话 |
|---|---|---|
| 备案与登记材料 | 火山引擎备案技术安全措施材料支持（按五大类 31 小类风险出材料）、材料清单指引与流程陪跑；阿里云百炼备案指引与材料获取、平台模型备案信息公示 | 材料和流程有平台陪跑，周期照排——没有加急通道 |
| 内容审核与护栏 | 阿里云百炼 AI 安全护栏默认按模型挂载（输入输出双向审核）；通用能力：内容审核 API（文本 / 图片多级标签） | 阿里云百炼把护栏默认挂在模型上，输入输出双向各过一遍；通用的内容审核 API 得自己接 |
| 部署形态 | 公有云 / 专有云 / 分布式云三形态 | 「数据不出境」的诉求靠部署形态兜 |
顺着追问什么：你们是自研或微调模型对公众提供服务，还是调用已备案的模型做应用？这一问就分出 5–8 个月的备案和周级的登记两条路。生成的内容从哪个出口发出去，显式标识打在哪一步、导出链路会不会把隐式标识洗掉？数据会不会出境，涉不涉及重要数据、在不在自贸区清单里？
云替你做不了什么：平台工具再全，法定「服务提供者」的义务仍在应用方——内容审核、用户投诉、标识、备案主体，一样不能少。平台模型已备案不等于你的应用免登记；护栏默认挂着也不等于审核就算做过了，自建复核还得兜一层。部署选专有云能答「数据不出境」，答不了「训练数据来源合不合法」。
本节服务清单与「给客户一句话」与讲义各章的「上云怎么落地」页同源，未引入新事实；「顺着追问什么」与「云替你做不了什么」两格是网页版补的售前视角。不可外推边界：这是「哪个环节有云服务可用」的地图，不是选型结论——具体产品的地域可用性、配额、计价单位与生命周期状态会月级变动，出方案前按当期官方文档逐项复核。
11现场高频追问#qa
只收会改变某个决定的问题——会改变技术方案、风险判断、验收方法、对客沟通或下一步行动。
每题标出它加入本题库的日期：2026-07-09 来自讲义首版对练页，2026-07-17 来自中国合规增章，2026-07-23 是按客户交锋场景补的三题（安全承诺 / 已有安全体系 / 安全验收）。
大模型不就是个聊天框，能有多大安全风险？2026-07-09
提示注入到底能不能彻底解决？2026-07-09
坦率说，现有架构下不能——OpenAI、Anthropic、谷歌都公开承认。但能把风险压到可接受：模型外护栏、最小权限、动作审批，让注入成功也偷不走数据、动不了要害。
「训模型拒绝」是防御方穷举、攻击方创造的军备竞赛——防线要建在结构上不建在模型上，这是全册的主旋律。
下一步 EchoLeak 的启示当口径：切断「能读敏感数据+能外发」两条链，比教模型拒绝更可靠。
依据 三大厂共识
我们的数据会不会被模型学走、被别人问出来？2026-07-09
用 RAG 不会——数据留在你的库里、带权限、可随时删，不进模型参数。只有拿敏感数据去微调再对外提供才有这个风险，那种场景用脱敏、隔离甚至差分隐私来兜。
「RAG 优于微调」是数据安全侧最有力的一张牌；另一半提醒是向量化 ≠ 匿名化——嵌入能被部分反推，该脱敏还得脱敏。
下一步 多租户场景补一句带 ACL 的检索和租户隔离——否则 A 的问题可能命中 B 的文档。
依据 数据与隐私
从开源社区下模型很方便，有什么风险？2026-07-09
两个新风险：模型文件本身可能带恶意代码（pickle 加载即执行），或被植入后门（测试期看不出、遇暗号发作）。要过来源验证和扫描这道关，别直接拉到生产。
「能跑」不等于「可信」——可信靠签名/哈希、model card、安全格式三样证据，不靠试用。
下一步 把准入 checklist（来源/格式/文档/登记 AI-BOM）做成评审门禁——入口关是最便宜的防线。
依据 供应链
给 Agent 放权自动干活，出了事谁负责、怎么控？2026-07-09
责任在部署方，所以控制权要抓在系统手里：最小权限、短期身份、不可逆动作强制人工审批——即使模型被骗，能造成的最大损失也被提前框死。
Agent 安全的重点不是防它被骗，而是限制被骗后能做什么——爆炸半径是设计出来的，不是祈祷出来的。
下一步 给每个工具做「工具—权限—是否需审批」表，一句话说清这个 Agent 的爆炸半径有多大。
依据 控权而非防话
买一个 AI 护栏产品，是不是就安全了？2026-07-09
护栏是必要的一道闸但不是全部：输入+动作+输出+监控四层叠加，再加架构级最小权限。单靠一个护栏，换个绕法就被穿了。
防护有效性要量化举证：红队按 ATLAS 打一遍给攻破率，修复后固化回归——「被持续验证」比「买了产品」有说服力得多。
下一步 按爆炸半径分级投防护：低风险只读应用护栏+最小权限就够；能碰敏感数据又能动作的链路才上双 LLM 级结构。
依据 纵深防御
我们要过 EU AI Act，具体要做什么、什么时候？2026-07-09
先看业务是否触达欧盟。GPAI 三时点没动：义务 2025-08 已生效、执法罚款 2026-08 启动（最高全球营收 7%）、存量 2027-08 截止；高风险义务经 Digital Omnibus 延到 2027-12-02（Annex III 独立）与 2028-08-02（嵌入式），透明度义务仍按 2026-08——倒排别停。
治理框架组合用：NIST RMF 给自评骨架、ISO 42001 给可认证体系、 EU AI Act 是法律底线——对外招标常要求前两个。
下一步 治理落地从盘清 AI 资产开始——不知道有多少模型和 Agent，就无从谈合规。
我们私有化部署、只给内部员工用，要备案吗？2026-07-17
暂行办法管「向境内公众提供服务」——纯内部使用不适用备案，但数据安全与个信保护义务照常；一旦对外（哪怕小程序），就要重新分诊。
分诊三问是中国合规的入口：自研对公众走服务备案（5–8 个月）、调已备案模型走登记（周级）、纯内部不适用——最常见误区是把登记当备案吓自己。
下一步 对公众的产品把备案排进产品计划——没有官方加急通道，1112 款已备案说明这是常态动作。
依据 分诊三问
不打 AI 标识会怎样？2026-07-17
2025-09 起是法定义务，配套强制国标；已有 App 因标识违规被约谈、下架——代价是产品下线与渠道信任，不只是罚款数字。
显式标识给人看（生成入口就近打标）、隐式标识给机器看（元数据/ 水印，导出链路别洗掉）——两层都要落。
下一步 把标识做成生成服务的默认输出（服务端注入），别靠前端各业务自觉补——审计时查得出、改得动。
依据 内容标识
你们能保证上线之后不出安全事故吗？2026-07-23
不能——而且谁当场保证「绝对安全」，你都该多问一句。三家模型厂自己都公开说过，现有架构下提示注入在模型内根治不了。能承诺的是另外三件，每一件都可当场验证：①出事的门槛被抬高——假设模型会被骗，先收敛它能读到的数据和能做的动作；②出事时被挡住——输入、动作、输出、监控四道闸叠加，正因为单点必被绕过，所以不设单点；③出事后能止损——token、工具、网络出口三个急停开关都演练过。目前评估最充分的结构级防御（CaMeL）在基准上也只到约 77%，这恰恰是「有效但不够、所以要纵深」的证据，不是拿来当保证书用的。
这题两头都是坑：吹绝对安全，出一次事全盘失信；直说「不能保证」又显得没底气。正解是把「保证不出事」换成「保证出事时兜得住、说得清」——它诚实、可验收，也是唯一写得进合同的形态。
下一步 把话题从「保不保证」拉到「你最担心哪一层」，用自查器过一遍能力清单，圈出爆炸半径最大的那条链路——争承诺变成看清单，谈法立刻不一样。
我们安全体系和团队都齐，为什么还要再上一套 AI 安全？2026-07-23
不是再上一套，是在你已有的那套上加一层假设：AI 安全 = 传统安全 + 「模型永远可能被诱导」。这层之外的东西大半接得住——动作闸落在你现有的权限体系上、输出侧的敏感信息过滤对应已有的数据防泄漏能力、监控闸并进现有告警与审计、模型与数据的准入挂进已有的上线评审。真正接不住的只有一件：传统防线认的是流量特征和代码特征，而提示注入是一段语法完全合法的自然语言，既转义不掉、也没有固定特征可匹配——所以要补的是语义那一闸，以及「假设模型会中招」之后的控权结构。另外多出一份要管的资产：公司里到底有多少模型和 Agent，不盘清就无从谈治理。
这题答成「你们那套不管用」就输了——坐在对面的往往正是建这套体系的人，他要保护的是自己的投资和判断。改叙成「你们那套继续用，我只补它看不懂的那一层」，决策就从换体系降级成加一层。反过来这话也是真的：只买语义护栏、不接现有权限与审计，四道闸里的动作闸和监控闸就是空的。
下一步 请对方指出现有流程里的三个关卡——谁批新系统上线、谁批权限申请、谁看告警——AI 的门禁就挂在这三处，不新开流程。这样谈，安全部门从阻力变成合作方。
安全这块怎么验收？总不能等出事了才知道没做好。2026-07-23
不看上了几个产品，看四段能不能闭环：边界与预防、检测、响应、恢复与治理。落到能签字的动作是三条：攻击可复现——红队按 ATLAS 选题打一遍，用例与攻破率都留档；控制可阻断——每条用例说得出它该被四道闸里的哪一闸挡住，说不出的当场记成缺口；事件可止损——token、工具、网络出口三个急停开关演练过，不是「配置过」。终极判断只有一句：从一条攻击路径能一路追到控制、检测、止损、恢复、责任人与剩余风险。「模型拒答了」不等于纵深防御成立。
安全验收最容易变成交一叠文档：有策略、有产品、有报告，真出事时一条也对不上。换成四段闭环加三个可演示动作，双方在 POC 阶段就能把「过没过」定死；这反过来也保护你——事后追责时，哪一环挡住了、哪一环没挡住，说得清。
下一步 把三样东西写进验收条款：一批红队用例、每条用例期望被哪一闸挡住、三个急停开关的演练记录。验收那天照单跑一遍，过没过是看出来的，不是谈出来的。
13来源与核实#sources
本页时效性数字均经联网核实后写入，完整登记见本模块 MANIFEST。核实窗口 2026-07-09（中国合规 2026-07-17）。法规与产品名快变，引用任何数字前先核日期。
| 来源 ID | 信源 | 支持什么 | 不能支持什么 |
|---|---|---|---|
src-owasp | genai.owasp.org | LLM Top 10 2025 版与 Agentic 威胁清单 | 版本会换代 |
src-atlas | MITRE ATLAS | 16 战术 120 技术的规模口径（2026-09 数据版） | 活知识库，数字持续增长 |
src-echoleak | arXiv 2509.10540 / Sentra | EchoLeak CVE-2025-32711 与 CVSS 9.3 | — |
src-vendors | 三厂公开研究（2025） | 「模型内无法根治注入」的行业共识 | — |
src-camel | arXiv 2503.18813 | CaMeL 在 AgentDojo 约 77% 口径 | 后续版本数字会变 |
src-patterns | arXiv 2506.08837 | 架构级防注入六类设计模式 | — |
src-euact | 欧盟官方文本 | EU AI Act GPAI 时间线与罚则、Digital Omnibus 高风险延期 | 高风险新时点 2027-12-02 / 2028-08-02 |
src-china | 网信办公告 / 官方法规文本 | 1112 款备案、5–8 个月周期、标识办法、GB/T 45654、出境三通道、拟人化办法与首批端侧备案 | 备案量持续增长，法规体系化演进中 |