工程保障层 · Engineering Assurance

Fine-tuning · 微调工程实践

拿自己的数据把微调落地:什么时候该微调(vs 提示词 / RAG)、全参与 LoRA/QLoRA 怎么选、数据怎么备、训练怎么跑、对齐什么时候上、托管服务与上云怎么落、效果怎么验收。与 LLM-Training 分工明确——那边讲「模型厂怎么炼模型」的原理,这边讲「用户拿自己数据定制模型」的工程实践。面向售前技术,讲清每个选择「为什么」和「客户会怎么问」。

本模块产出物:
· 讲义式 PPT:Fine-tuning-讲义.pptx(主力成品,89 页,✅ 已完成)
· 精选电子书书单:电子书书单.md(10 项,偏实践)✅
· 原始素材留痕:raw-data/(含 2026-07-09 联网核实笔记,时效性事实以此为准)

章节列表与状态

#章节要点状态
1什么时候该微调定制手段光谱(提示词→RAG→微调)、「知识 vs 行为」分界线、四条劝退清单、成本收益账✅ 已完成
2微调方法谱系全参 vs LoRA vs QLoRA、LoRA 超参实务、显存账速查(7B/14B/70B)、「学得少也忘得少」取舍、DoRA 等变体✅ 已完成
3数据准备:微调成败在此messages 格式与聊天模板、量级口径(50–10k)、质量优先(LIMA)、合成数据流水线、蒸馏、数据治理三问✅ 已完成
4训练实操与框架图鉴Unsloth/LLaMA-Factory/Axolotl/TRL 选型、真实训练代码、loss 曲线与过拟合、九成事故的四大坑✅ 已完成
5偏好对齐落地SFT 天花板、DPO(偏好对纠偏)、RFT/GRPO(可验证奖励)、症状→处方决策表✅ 已完成
6托管微调服务与上云落地自建 vs 托管三问、OpenAI 三方法、Claude 唯一路径(Bedrock+Haiku)、三大云对照、落地服务地图✅ 已完成
7评估与部署验收四层、灾难性遗忘与回归门禁、合并权重 vs adapter 热插拔、迭代闭环✅ 已完成
8售前速查决策树、成本心算模板、客户误区总表、全库串联图、综合面试题✅ 已完成
串联:本模块讲义已加「与 Prompt Engineering 的关系」页(↔ pe#pe-what-why,选型链两端:提示词到头才微调)。 与 RAG 互为「知识 vs 行为」的两侧(讲义第 1 章有专页);承接 LLM-Training 第 4/5/6 章——那边讲 SFT/对齐/RLVR 原理,本模块讲拿自己数据落地;第 7 章 adapter 部署与量化衔接 LLM-Inference 第 4/5 章;微调验收这条评估线与 RAG/Agent/LLM-Training 的评估章共同等待未来 Evaluation 模块收编。