# Evaluation · 精选电子书书单

> 面向售前技术(有 Python/API 基础,重概念与取舍,不啃重理论)。可合法免费获取的资料直接列官方链接。
> 时效性事实核实日期:2026-07-09(依据见 raw-data/2026-07-09-联网核实笔记.md)。
> 链接可达性复核:2026-08-01(本轮只核链接是否可达且对题,事实项核实日期见上行)。

| # | 书名/资料 | 作者/机构 | 类型 | 一句话简介 | 覆盖子主题 | 获取方式 |
| --- | --- | --- | --- | --- | --- | --- |
| 1 | 《LLM Evals: Everything You Need to Know》(evals FAQ) | Hamel Husain & Shreya Shankar | 🛠️实践 | 业界实践派最有影响力的评估方法论:从错误分析起步、评估集怎么长出来,课程沉淀的问答长文,拿来就能照做 | 评估思维, 错误分析, 数据集构建 | 🔗 免费阅读:https://hamel.dev/blog/posts/evals-faq/ |
| 2 | 《Demystifying evals for AI agents》 | Anthropic | 🛠️实践 | Agent 评估的官方工程实践:轨迹与结果怎么分层验收、评估怎么进 CI/CD,和库里 Agent 模块直接呼应 | Agent 评估, CI 门禁 | 🔗 免费阅读:https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents |
| 3 | 《Define success criteria and build evaluations》 | Anthropic(平台文档) | 🛠️实践 | "先定成功标准、再设计可自动判分的题型"的入门正路,四种判分方式(选择/字符串/代码/LLM)一页讲清 | 成功标准, 题型设计 | 🔗 免费阅读:https://platform.claude.com/docs/en/test-and-evaluate/develop-tests |
| 4 | 《Evaluation best practices》 | OpenAI(平台文档) | 🛠️实践 | 一线守则合集:每次变更都跑评估、判官先用最强模型对齐人工再降本、评估集持续生长 | 判官校准, 持续评估 | 🔗 免费阅读:https://developers.openai.com/api/docs/guides/evaluation-best-practices |
| 5 | 《The LLM Evaluation Guidebook》 | Hugging Face(OpenEvals) | 🛠️实践 | 开源评估手册,从自动指标、人工评估到判官全谱系,带大量"怎么做/常见坑"清单 | 方法谱系, 基准设计 | 🔗 免费阅读:https://huggingface.co/spaces/OpenEvals/evaluation-guidebook |
| 6 | 《AI Engineering》(评估相关章节) | Chip Huyen(O'Reilly, 2025) | 🛠️实践 | 应用级评估方法论最系统的成书:评估驱动开发、指标设计、判官实务,售前讲故事的完整骨架 | 应用评估全景 | 🔗 正规购买:https://www.oreilly.com/library/view/ai-engineering/9781098166298/ |
| 7 | 《Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena》 | Zheng et al.(LMSYS) | 🛠️实践（向论文） | LLM 判官的奠基文:位置/冗长/自我偏好三大偏差的出处,讲判官可靠性必引 | LLM-as-a-Judge, 判官偏差 | 🔗 官方免费下载：https://arxiv.org/pdf/2306.05685 |
| 8 | 《A Survey on LLM-as-a-Judge》 | Gu et al. | 🛠️实践（向论文） | 判官方法与偏差缓解手段的全景地图,选型时当索引用,不必通读 | 判官方法谱系, 偏差缓解 | 🔗 官方免费下载：https://arxiv.org/pdf/2411.15594 |
| 9 | 《The Leaderboard Illusion》 | Singh et al.(Cohere Labs 等) | 🛠️实践（警示） | 揭示 Arena 榜单的私测择优机制(有厂商私测 27 个变体只公开最优),客户拿榜单说事时的必备弹药 | 榜单局限, 基准污染 | 🔗 官方免费下载：https://arxiv.org/pdf/2504.20879 |
| 10 | 《RAGAS: Automated Evaluation of Retrieval Augmented Generation》 | Es et al. | 📖理论·可选读 | RAG 评估三角(忠实度/上下文精确率/召回率)的学术源头,想深挖指标定义再看,日常用 Ragas 文档即可 | RAG 评估指标 | 🔗 官方免费下载：https://arxiv.org/pdf/2309.15217 |

## 阅读建议

1. **先读 #3 + #1(半天)**:客户问得最多的是"评估怎么起步、没标注数据怎么办"——#3 给"先定成功标准"的框架,#1 给"从错误分析长出评估集"的路子,两份合起来就是完整答法。
2. **被问"让 AI 评 AI 靠谱吗"之前,过一遍 #7**:三大偏差的实验数字(交换顺序漂移 >10%、长答案偏好 >90%)都在这篇里,答客户时有数据撑腰;#8 当索引备查,不必通读。
3. **客户拿榜单压你时,翻 #9**:"榜单第一"背后的私测择优机制,这篇讲得最透,是把话题从"刷榜"引向"贵司场景实测"的关键弹药。
4. **要做评估 demo 或 POC 验收方案,看 #2 + #4**:Anthropic 讲 Agent 验收分层,OpenAI 讲判官校准流程,照着搭就是一套能落地的 POC 评估方案。
5. **想系统补课再买 #6**:成书体系最完整,但前五份免费资料已覆盖日常售前所需,#6 可作为长期案头书;#10 仅在需要抠 RAG 指标定义时查。

> 链接探活：2026-08-01（逐条打开验证；被反爬拦的页面以官方佐证核实）。