AI Data EngineeringData-Engineering，数据工程

01数据就绪度是第一风险#de-what-why

数据就绪度四问（第一次客户拜访就要问完——答案直接决定排期与报价结构）： ①数据在哪（几个系统、能不能连）②什么格式（PDF 扫描件占比多少）③谁有权（ACL 能不能映射过来）④多久变一次（增量同步节奏）。管线总图四段各对应一个可收费工程件：解析管线（按文档类型分档）→ 清洗同步（连接器按源系统个数）→ 入库（向量库建设）→ 质量运营（运营包按月）。「为什么你们报价里有一块数据工程」的答法：别家不是没有，是藏在里面或做砸了才补——列成明细，每一分钱买了什么看得见，既是收入项也是防烂尾的保险。

02文档解析管线#de-parsing

两榜排序不一致，别拿单一排序当结论：OmniDocBench 由 OpenDataLab（MinerU 同门）维护，v1.6 榜首现为 2026-09-11 新增的 TeleOCR（96.91），PaddleOCR-VL-1.6 为 96.34，MinerU2.5-Pro 为 95.75；olmOCR-bench 是 Ai2 的第三方题库，但上面这组分数是 Datalab（Marker 作者）自跑的，比的是「文本层管线」这一档——Datalab 自己也注明 MinerU 的视觉语言模型后端分数更高。两边测的后端不同、维护方各是当事人，所以用客户自己的文档自测才是唯一可信口径。（核实 2026-08-01）

三个选型硬约束

对客动作：先拿客户 20 份最难的文档（表格重 / 扫描件）跑对比测试——解析选型永远用客户自己的文档定，不用厂商 demo 定。解析产物交给 RAG 网页版按结构切分。

四强格局与基准核实 2026-07-11，来源 2026 解析横评。不可外推边界：解析基准多以英文版面为主，对中日韩版面的参考价值有限——本节的选型分水岭因此写成「拿客户自己最难的 20 份文档实测」，而不是照抄榜单。

03连接器与增量同步#de-pipeline

增量同步三模式，按新鲜度需求分级

真实问题是「哪些内容需要多新鲜」——制度文档天级足够，工单类才值得准实时，分级同步省一大笔。

两件没人爱做的脏活

它们决定客户第二个月还信不信这个系统：

同步链路按生产系统运维：断供、限速、权限失效都有告警与补偿重试，每个连接器有健康页——不是脚本跑一次就完。

04向量库选型#de-vectordb

向量库是「按规模演进」的决策，不是「一步到位」的决策：

迁移纪律

别为「将来可能的十亿级」提前买复杂度。

性能答法：各家都在毫秒级、量级内差距对多数应用无感——真正拉开差距的是过滤 / 混合检索能力和运维成本，选型看能力匹配不看跑分排名。国产化要求：开源自托管路线全可控（Milvus 是国内团队主导的开源项目）。

选型锚点核实 2026-07-11，来源 2026 向量库对比。不可外推边界：对比表是通用场景下的能力排序，不含客户的过滤条件、并发与运维口径；文中的量级建议是常见生产区间，不是硬上限。

05数据质量与覆盖率#de-quality

坏答案回流：修数据，而不是改提示词

「AI 老答错是不是模型不行」的归因链——经验上八成问题在检索侧，检索问题的大半又在数据侧（解析错 / 文档缺 / 内容过期）：

运营节奏：日看新鲜度告警、周看坏答案归因、月出四指标报告——与 AI-Ops 运营包同节奏合并交付；停止运营的知识库半年就烂。

三档动作各是谁的活，报价前就要说清：管线内的告警与归因是我们（自动化采集，异常才需要人看）；源系统改版、限速、权限失效由客户 IT 提前知会——连接器是跟着别人的系统走的，这是持续消耗的主要来源；补文档是客户业务团队。三方缺一档，运营就会退回到「出了事再找人」。

06标注与合成数据运营#de-labeling

一份坏例，两条去向

分流先问「是不知道还是不听话」——分流错了钱就白花：

知识类坏例别硬塞进训练集。评估集线留 10–20% 保留集防应试。

合成数据「会不会越训越歪」：有纪律就可靠——真实种子打底、judge 过滤、抽检合格率是硬指标（低于七成说明种子或标准要回炉）；纯合成才有坍缩风险。

07治理与权限衔接#de-governance

决策大脑：四类输入 + 一个策略决策

授权在资源服务端强制执行，模型、查询或客户端都不能自行裁决。

验收与安全团队的三个追问

越权测试集是上线门禁：无权限账号 20 条敏感问题零泄露才放行，调岗 / 离职后重跑。三个追问的标准答案：

与 Security 方案不重复收费：那边定规则与防护体系，这边是规则在数据管线上的施工。

六条验收线 + 血缘：验的是证据链不是组件清单

「有数据湖或向量库」不等于「有可运营的知识底座」——上线前把六条线加越权测试对一遍，每条都要拿得出证据：

08售前速查#de-cheatsheet

管线总图：五段 + 两条贯穿线

工具速查卡（2026-07 口径）

工具口径核实 2026-07-11，来源 第三方评测对比 与 MinerU 官方仓。格局会漂——选型结论（就地起步、按约束收敛、自测为准）比工具名保值。不可外推边界：50–100M 是第三方评测量级，换硬件与数据分布必须自测复现。

八个坑

09上云怎么落地#cloud

接进来：数据从各个系统汇到一处

这一段的目标只有一个：把散在 SharePoint、Confluence、共享盘、业务库里的东西，汇到一个后面能反复重跑的地方。

顺着追问什么：这些系统里，哪几个是真要接的？每个系统谁是管理员、给不给账号、租户管理员同不同意授权？文档在源系统里的权限要不要跟着一起进来？检索的时候由谁来认证用户身份，各系统里那个人的邮箱是不是同一个？

云替你做不了什么：云能搬、能跟上变更，但有三件事它自己在文档里就写明了不做。一是不认人：托管知识库的权限过滤是按你传进去的身份筛的，官方明写它不认证最终用户、也无法验证这个身份是真的，认证必须在你自己的应用里做，光靠它不构成访问控制。二是不承诺延迟：数据库增量复制官方明写不是实时复制、延迟没有 SLA（服务等级协议），随源库负载与网络波动。三是账号与取舍：哪些系统接、谁批管理员账号与租户授权、哪份文档算数，还是归客户。

看得懂：把 PDF、扫描件、表格变成结构化文本

第 2 章已经把开源侧讲透——MinerU、Docling、LlamaParse、Unstructured 各自的甜区与许可。这里补云侧：客户已有云协议时，这一段多半是买不是搭。四家云都能把版面认出来、给一份结构化文本，但认得了哪些文字、一次能吃几页、出来是不是 Markdown，差距比宣传页上大得多。边界声明：切分怎么切、切完怎么嵌入入库，在 RAG 那一节；本段只管到「解析产物落地成一份能切的文本」为止。

顺着追问什么：最难的 20 份长什么样——扫描件、竖排、手写各占多少？历史存量多少页、多久要灌完？解析错了谁复核、每天看得了几页？有没有一批文档根本不能出网？

云替你做不了什么：两件是真做不到，不是没配好。一、AWS 这条线读不了中文：Textract 官方配额页只列英法德意葡西六种文字，Bedrock Data Automation 文档侧也是这六种，两份限制表还都明写不支持竖排——中文扫描件、竖排件在 AWS 上没有开关可打，只能换云或走开源自建。二、现成的人工复核队列买不到了：Google 的 Human-in-the-Loop 已进 Document AI 官方废弃清单，AWS 的 Amazon A2I 明写不对新客户开放，新项目这条队列必须自己搭，工期里要留出来。

加工与编排：清洗、去重、切分、批量向量化

这一段只管「数据变成可用语料之前」的加工与编排：跑批算力、调度骨架、首次全量向量化那一趟。切多大、重叠多少属于切分策略，向量库怎么选、换嵌入模型要付什么代价属于检索侧，见 RAG 册；质量指标体系与运营节奏见本册第 5 章；权限与合规落点见 Security 册——重叠的地方不重讲。

顺着追问什么：全量重建一次多少文档、多久跑一次？增量要天级还是分钟级？源系统删掉一条，下游能不能知道它没了？首次向量化能不能等一晚出结果？

云替你做不了什么：云给的是跑批的机器、调度的骨架和能跑的规则；判断这些规则跑对了没有，它给不了——清洗把 PDF 里的表格洗没了，管线照样全绿。另一件是云够不着的：源系统硬删一条记录又不留删除日志，任何托管管线都无从知道它消失过——这不是没配好，是上游压根没产生这条信息，只能回去改源系统。

存得住、查得清：湖仓、目录与血缘

第 7 章讲的三个执行点和越权测试，落到云上就是这一段：数据存成什么表格式、谁在管这份表的元数据、字段是从哪来的、以及同一张表不同的人能看到哪几行哪几列。这一段的取舍和前面几段不一样——解析工具选错了还能换，表格式和目录选错了，换的是数据本身的家。

顺着追问什么：表格式定了吗，Iceberg、Delta 还是 Paimon？血缘现在能查到字段级吗，断在哪一段？行列级权限归谁管、卡在数据层还是每个应用各写一遍？

云替你做不了什么：云做不了的是三件写死在文档里的事，不是「没配」：一，Google 明写通过 Iceberg REST 目录端点管理的表不支持行级、列级细粒度访问控制——在这条路上「开放互通」和「细粒度管控」不能同时要（AWS 的联邦 Iceberg 目录反而可以按行/列/单元格授权，所以这不是开放目录的通例，是按家的硬边界，别互相套）；二，列级血缘有官方写死的采集断点：BigQuery 加载作业与例程不采、单个作业超过 1500 条列级链接不采、嵌套字段不支持，断掉的那截没人替你补；三，Lake Formation 数据筛选器只作用于读操作、只能配 SELECT，写入侧的越权它不看，血缘也不承担访问控制。反过来提醒一句：别把「分类分级」算进云做不了——Databricks 的数据分类与 DataWorks 数据保护伞都能自动识别并打敏感标签，云给的是带置信度的候选标签，定分级标准、出越权测试题、认领哪一列算敏感，才是留给你的活。

质量与标注：让语料一直可用

语料建成不等于建好——第 5、6 章管的是它之后怎么不烂掉：四个质量指标怎么自动跑出来、坏例怎么回流、标注与合成的预算怎么花。这一格的云服务分两类：一类把规则和分数跑起来（质量扫描与异常检测），一类把人组织起来标数据（托管标注与预标注）。边界先说清：在线评估怎么抓坏答案在 AI-Ops，合成数据的配方在 Fine-tuning，脱敏与权限规则在 Security，本节只讲数据侧那半段。

顺着追问什么：四个指标现在谁在看、多久看一次？阈值是打算人定一个数，还是要让它跟着历史走（这决定了云选哪家）？标注是自己招人还是外包，标注员能不能碰生产数据？你们名下有没有已经在用的 Ground Truth——没有的话这条路对新客户是关着的。坏答案有没有人跟到底？

云替你做不了什么：云真够不着的是这三条。一，新客户现在买不到公有云的托管标注平台：Ground Truth 不再对新客户开放，Mechanical Turk 劳动力与 Azure ML 数据标注都在 2026-09-30 关停，Google 的标注服务 2024 年就关停了，阿里 iTAG 1.0 从 2026-08-01 起只对白名单——这不是配置问题，是没得开通。二，自动标注只覆盖四类内置任务，自定义任务和流式作业根本不支持，连置信度阈值都由服务预设、不给你调；任务形态一超出这四类，云侧那个开关就是灰的。三，覆盖率云看不见——文档里没写的答案，扫描怎么扫都扫不出来，只能你们自己补。（至于定规则、定阈值、写标注标准，云已经做了一半：推荐规则、AI 生成规则、按历史算阈值都有，但拍板还是人——这算「云做了要你配」，别拿它当云的短板讲。）

本节服务清单与状态标注均于 2026-08-02 联网核实，逐条落到各厂商官方文档，完整登记见本模块 MANIFEST（新增 22 条，多数按 30 天节奏复查）。不可外推边界：这是「哪个环节有云服务可用」的地图，不是选型结论——预览状态、配额、计价单位与产品生命周期月级变动，出方案前按当期官方文档逐项复核。

10现场高频追问#qa

只收会改变某个决定的问题——会改变技术方案、风险判断、验收方法、对客沟通或下一步行动。

每题标出它加入本题库的日期：2026-07-11 来自讲义首版对练页，2026-07-23 是按客户交锋场景补的三题（数据这块怎么验收 / 能承诺到多少 / 上线后谁维护）。

11相关模块#related

边界纪律：切分在 RAG、微调数据配方在 Fine-tuning、权限规则在 Security——本页讲它们上游的「数据就绪」。

12来源与核实#sources

本页时效性数字均经联网核实后写入，完整登记见本模块 MANIFEST。核实窗口 2026-07-11；解析一节 2026-08-01 重核。工具口径会漂——选型结论（就地起步、按约束收敛、自测为准）比工具名保值。