工程保障层 · Engineering Assurance

Security · AI 安全

大模型把「自然语言」变成了新的攻击面。本模块把 AI 安全讲成一条链:先看威胁全景(OWASP LLM Top 10 / MITRE ATLAS),再拆提示注入、数据隐私、供应链、Agent 四类风险,最后落到护栏、设计模式、红队与治理合规,以及怎么在云上真正管起来。面向售前技术,重威胁模型与防护取舍,轻纯攻击理论。

本模块产出物:
· 讲义式 PPT:Security-讲义.pptx(主力成品,90 页,✅ 已完成)
· 精选电子书书单:电子书书单.md(10 项,偏实践)✅
· 原始素材留痕:raw-data/(含 2026-07-09 联网核实笔记,时效性事实以此为准)

章节列表与状态

#章节要点状态
1为什么 AI 安全是新问题(威胁全景)指令/数据不分离是总根源、三层攻击面(模型/应用/Agent 系统)、OWASP LLM Top 10(2025)、MITRE ATLAS 定位与用法✅ 已完成
2提示注入与越狱LLM 版 SQL 注入、直接 vs 间接注入数据流、越狱三套路、EchoLeak(CVE-2025-32711)拆解、为何模型内无法根治→模型外兜底✅ 已完成
3数据与隐私安全敏感信息/系统提示词泄露、记忆化与成员推断、三时机投毒、向量与嵌入弱点、RAG 优于微调、数据分级脱敏隔离✅ 已完成
4供应链与模型来源四环节供应链、pickle 反序列化 RCE、后门模型、模型签名/model card/AI-BOM、安全格式+扫描+沙箱、准入 checklist✅ 已完成
5Agent 与工具安全自主×工具×记忆放大器、过度自主与爆炸半径、工具描述投毒/MCP/混淆代理、记忆投毒、OWASP Agentic 威胁地图、scoped 身份+每动作授权+HITL✅ 已完成
6防护工程:护栏·模式·红队纵深防御四道闸、护栏工具对比(开源 vs 三云托管)、六类架构级防注入模式、双 LLM/CaMeL 深潜、PyRIT 红队闭环✅ 已完成
7治理与合规框架NIST AI RMF 四功能+GenAI Profile、EU AI Act 时间线与罚则、ISO/IEC 42001、企业落地(盘资产→门禁→AI-SPM)✅ 已完成
8中国监管合规监管地图(暂行办法/标识办法/安全国标/网安法 AI 专条)、双备案流程与材料、备案 vs 登记分诊、内容标识(显式+隐式)、数据出境三通道与豁免、云上合规配套(988 款已备案口径 2026-07-17)✅ 已完成
9售前速查威胁→防护一页映射、上云安全服务三云对照、与全库其它模块的安全接口(串联)、综合问答、一句话总纲✅ 已完成
串联:安全是横切关注点,给全库每个技术环节配一条「怎么防」的边——第 6 章红队产出汇入 Evaluation 的安全维度验收(兑现其预留接口);第 5 章为 Agent、MCP 的「要防」给出系统性控权方案;第 3 章向量库安全对应 RAG;第 3/4 章模型投毒与来源验证对应 Fine-tuning、LLM-Training(逐条见 MANIFEST 串联出边)。