本模块产出物:
· 讲义式 PPT:
· 精选电子书书单:
· 原始素材留痕:
· 讲义式 PPT:
Data-Engineering-讲义.pptx(主力成品,70 页,✅ 已完成)· 精选电子书书单:
电子书书单.md(8 项)· 原始素材留痕:
raw-data/(含 2026-07-11 联网核实笔记)
章节列表与状态
| # | 章节 | 要点 | 状态 |
|---|---|---|---|
| 1 | 数据就绪度是第一风险 | 全库五处证据、四问评估(在哪/格式/权限/变更频率)、管线总图与报价项 | ✅ 已完成 |
| 2 | 文档解析管线 | 四强格局(LlamaParse/Docling/MinerU/Unstructured)+ 云文档智能、基准口径、表格保真分水岭、用客户最难 20 份自测 | ✅ 已完成 |
| 3 | 连接器与增量同步 | 连接器五件事、增量三模式(轮询/webhook/CDC)、去重与失效两件脏活 | ✅ 已完成 |
| 4 | 向量库选型深潜 | 五锚点(pgvector 50–100M 上限/Qdrant/Milvus/ES 混合/托管)、按规模演进、迁移纪律 | ✅ 已完成 |
| 5 | 数据质量与覆盖率 | 质量四指标仪表盘、坏答案回流(修数据不改提示词)、覆盖率清单 = 治理入口 | ✅ 已完成 |
| 6 | 标注与合成数据运营 | 预算三去向(种子/扩量/抽检)、评估集与训练集双线、坏例分流口诀 | ✅ 已完成 |
| 7 | 治理与权限衔接 | 三执行点(ACL 映射/采集点脱敏/联动删除)、越权测试门禁、向量化≠匿名化 | ✅ 已完成 |
| 8 | 售前速查 | 管线总图、工具速查卡、八坑清单、串联地图 | ✅ 已完成 |
串联:本模块是全库多条线的上游:
- Solution-Patterns:SP 说「数据坑是第一风险」「连接器是报价大头」,本模块给工程清单与报价明细(双向)。
- RAG:解析产物交给切分(第 3 章)、向量库承载检索(第 2 章)——上游供给关系(双向)。
- AI-Ops:坏答案回流归因到数据层;质量运营与运维包同节奏合并交付。
- Fine-tuning / Evaluation:合成数据配方与评估集方法在那边,本模块管预算与双线运营。
- Security:规则在那边,数据管线三执行点在这边。
可增补方向:数据治理/合规专章(地图占位中,与未来中国合规章联动)、多模态数据管线(图纸/音视频入库)、数据集市与特征store 视角。将来任意加一章,沿用本模块每章结构即可。