本模块产出物：
· 讲义式 PPT：
· 精选电子书书单：
· 原始素材留痕：
· 讲义式 PPT：
Evaluation-讲义.pptx（主力成品，100 页，✅ 已完成）· 精选电子书书单：
电子书书单.md（10 项，偏实践）✅· 原始素材留痕：
raw-data/（含 2026-07-09 联网核实笔记，时效性事实以此为准）
章节列表与状态
| # | 章节 | 要点 | 状态 |
|---|---|---|---|
| 1 | 为什么评估这么难 | 非确定性输出、「感觉不错」不可规模化、评估三层分工（基准/应用/生产监控）、评估集=护城河、与 LLM-Inference 划清质量/性能边界 | ✅ 已完成 |
| 2 | 模型基准测试全景 | 基准原理、MMLU 饱和与 GPQA/HLE 接棒、Agent 基准（SWE-bench/τ²/BFCL v4）、数据污染、Arena 与 Leaderboard Illusion | ✅ 已完成 |
| 3 | 评估方法谱系 | 人工/代码判/参考指标（BLEU 为何失灵）/LLM 判官四法对比、「能代码判就代码判」的设计顺序 | ✅ 已完成 |
| 4 | LLM-as-a-Judge 深潜 | 单点/成对/细则三种判法、位置·冗长·自我偏好三大偏差与缓解、校准四步、判官三问与使用边界 | ✅ 已完成 |
| 5 | 自建评估：数据集与指标设计 | 黄金集、错误分析（看数据→归类→长出评估项）、冷启动三条路、先标准后指标、CI 门禁、坏例回流 | ✅ 已完成 |
| 6 | 场景验收：RAG / Agent / 微调 | RAG 三角（忠实度/精确率/召回率）、Agent 结果与轨迹双轨、微调回归门禁防遗忘、安全维度、护栏 vs 评估 | ✅ 已完成 |
| 7 | 评估工具链与生产闭环 | 开源三件套（Ragas/DeepEval/promptfoo）、平台选型、在线评估与 A/B、评估资产自持、三大云评估服务对照、质量飞轮 | ✅ 已完成 |
| 8 | 售前速查 | 「哪个模型最好」应答三步、POC 验收标准模板、客户误区总表、综合面试题、全库串联位置图 | ✅ 已完成 |
串联：本模块讲义已加「与 Prompt Engineering 的关系」页（↔
pe#pe-engineering，提示词的评估驱动优化用本模块判分法）。 本模块是全库评估线的汇合点——RAG 的检索质量评估、Agent 的评估与护栏、Fine-tuning 的验收四层、LLM-Training 的模型评估章，均可在此展开与回链（大纲确定后逐条登记到 MANIFEST）。