算力与数据底座 · Compute · Platform · Data

Data-Engineering · AI 数据工程

数据底座层首模块:把客户的烂数据搞就绪。全库五处(SP 的 POC 数据坑、连接器报价、AI-Ops 的 GIGO……)都指向的那个坑,这册负责接住——四问评估 → 解析 → 连接同步 → 向量库 → 质量运营,把隐性成本变成显性工程件。边界纪律:切分在 RAG、合成数据配方在 Fine-tuning、权限规则在 Security,引用不重讲。

本模块产出物:
· 讲义式 PPT:Data-Engineering-讲义.pptx(主力成品,70 页,✅ 已完成)
· 精选电子书书单:电子书书单.md(8 项)
· 原始素材留痕:raw-data/(含 2026-07-11 联网核实笔记)

章节列表与状态

#章节要点状态
1数据就绪度是第一风险全库五处证据、四问评估(在哪/格式/权限/变更频率)、管线总图与报价项✅ 已完成
2文档解析管线四强格局(LlamaParse/Docling/MinerU/Unstructured)+ 云文档智能、基准口径、表格保真分水岭、用客户最难 20 份自测✅ 已完成
3连接器与增量同步连接器五件事、增量三模式(轮询/webhook/CDC)、去重与失效两件脏活✅ 已完成
4向量库选型深潜五锚点(pgvector 50–100M 上限/Qdrant/Milvus/ES 混合/托管)、按规模演进、迁移纪律✅ 已完成
5数据质量与覆盖率质量四指标仪表盘、坏答案回流(修数据不改提示词)、覆盖率清单 = 治理入口✅ 已完成
6标注与合成数据运营预算三去向(种子/扩量/抽检)、评估集与训练集双线、坏例分流口诀✅ 已完成
7治理与权限衔接三执行点(ACL 映射/采集点脱敏/联动删除)、越权测试门禁、向量化≠匿名化✅ 已完成
8售前速查管线总图、工具速查卡、八坑清单、串联地图✅ 已完成
串联:本模块是全库多条线的上游:
可增补方向:数据治理/合规专章(地图占位中,与未来中国合规章联动)、多模态数据管线(图纸/音视频入库)、数据集市与特征store 视角。将来任意加一章,沿用本模块每章结构即可。