模型后训练与微调🧗 硬核

一、为什么需要后训练？——从"毛坯房"到"精装修"

上一章讲过，预训练阶段模型"读"完了互联网上海量文本，学会了语言的规律和海量知识。但预训练出来的模型（叫基座模型，Base Model）有一个大问题：它只会"续写"，不会"对话"。

你问它"中国的首都是哪里？"，它可能不回答，而是接着写"日本的首都是哪里？美国的首都是哪里？……"——因为在预训练数据里，这种问答列表的格式很常见，它只是在"续写"它认为最可能出现的下一个词。它像一个读了一座图书馆、满腹经纶，却完全不懂社交礼仪的人——什么场合该说什么话，一概不知。

把基座模型变成可用的对话模型，这一整套加工过程就叫后训练（Post-Training）。它包括监督微调、偏好对齐、安全训练等多个环节，是大模型从"毛坯"变"精装"的关键阶段。

二、监督微调（SFT）：学会"听人话"

后训练的第一步，几乎总是监督微调（Supervised Fine-Tuning，简称 SFT）——简单说就是给模型做示范题，让它照着学。它的目标很明确：教模型按指令行事——你问，它就答；你让它写诗，它就写诗；你让它翻译，它就翻译。

怎么做

研究者准备一大批"指令—回答"的范例数据（通常几万到几十万条），每一条长这样：

用户：请用一句话解释什么是黑洞。
助手：黑洞是引力极强的天体，连光都无法逃逸。

把这些范例"喂"给基座模型，让它学习：遇到这种问法，应该这样回答，而不是自顾自地续写。训练方式和预训练一样——还是"猜下一个词"并调权重，只不过这次喂的不是海量网页文本，而是精心准备的对话范例。

数据质量 > 数据数量

2025-2026年的研究揭示了一个反直觉的结论：200条人工精选的高质量样本，微调效果优于2000条噪声数据。这就像教一个聪明学生——几道精选好题比刷一千道烂题管用得多。数据质量成为 SFT 的第一优先级。

SFT 的局限

SFT 教会了模型"怎么回答"，但没法教它"什么是好的回答"。比如同一个问题"怎么写一首诗"，模型可能写出十种不同的回答，SFT 只能告诉它"这样写"，没法告诉它"这种写法比那种更好"。要教模型区分好坏、追求更优，就需要下一阶段——偏好对齐。

三、基于人类反馈的强化学习（RLHF）

RLHF（Reinforcement Learning from Human Feedback）是 OpenAI 在 InstructGPT（2022年）中确立的经典方法，ChatGPT 能一炮而红，RLHF 功不可没。它的核心思想是：请人类当评委打分，模型越写越讨人喜欢——用人类的"偏好"来训练模型，让模型学会生成人类更喜欢的回答。

三步流程

RLHF 的优势与挑战

四、直接偏好优化（DPO）：让对齐更简单

RLHF 虽然效果好，但工程复杂度太高。2023年，斯坦福大学的研究者提出了DPO（Direct Preference Optimization，直接偏好优化）一句话：不用另请评委，直接告诉模型"这个回答比那个好"，用数学推导把 RLHF 的强化学习目标转化为等价的监督学习问题——不需要训练奖励模型，不需要 PPO，直接用偏好数据训练模型。这一突破极大地降低了对齐的门槛。

DPO 的核心思想

DPO 的妙处在于一个数学发现：RLHF 想要优化的目标，其实可以等价转化为一个分类问题。给定一对回答（一个好的、一个差的），DPO 直接让模型增大"好回答"的概率、降低"差回答"的概率——就像做选择题，告诉模型"选这个、不选那个"。

DPO 家族：百花齐放

DPO 的成功催生了一系列变体，每种都在特定方面做出改进：

截至2026年，DPO 及其变体已成为开源社区最主流的对齐方法。HuggingFace 的 TRL 库、魔搭社区的 ms-swift 框架都原生集成了这些算法，开发者只需几行配置即可使用。

五、参数高效微调（PEFT）：四两拨千斤

前面讲的后训练方法，都需要更新模型全部参数（全量微调）。但大模型参数动辄几百亿、几千亿，全量微调需要海量显存——微调一个 70B 模型可能需要超过 1TB 显存，相当于十几张顶级显卡。这对绝大多数团队来说根本玩不起。

参数高效微调（Parameter-Efficient Fine-Tuning，简称 PEFT）的核心思路是：冻住模型绝大部分参数不动，只训练极少量新增参数，就能达到接近甚至匹敌全量微调的效果。这就像装修房子时不动承重墙和管线，只换软装——省时省力，效果还好。

LoRA：最流行的微调方法

LoRA（Low-Rank Adaptation，低秩适配）一句话：不重做整张卷子，只在空白处贴便利贴改答案是 2022 年提出的方法，到 2026 年已成为大模型微调的默认标准方案。它的原理非常优雅：

原始权重：W₀（巨大，冻住不动）
变化量：  ΔW ≈ B × A（两个小矩阵，只训练它们）
最终权重：W = W₀ + B × A

其中 B 是 d×r 的矩阵，A 是 r×k 的矩阵，r 远小于 d 和 k

举个例子：一个 7B 模型，全量微调要更新 70 亿个参数；用 LoRA（秩 r=8），只需训练约 400 万个参数——仅占 0.06%，显存从 84GB 降到 16GB，一张消费级显卡就能跑。

QLoRA：一张卡微调大模型

QLoRA 在 LoRA 基础上更进一步：把冻住的基础模型从 16 位量化到 4 位（NF4 格式），只让 LoRA 的参数保持 16 位精度训练。这样 65B 模型的微调显存从 130GB 降到 33GB——单张 48GB 显卡就能微调 650 亿参数的模型。

PEFT 家族全景

除了 LoRA 和 QLoRA，PEFT 还有多种技术路线：

六、推理模型的后训练：GRPO 与可验证奖励

2025年1月，DeepSeek 发布了 R1 模型，震动了整个 AI 界。R1 展示了一种全新的后训练范式：不依赖人类标注，纯靠强化学习，让模型自己"学会"推理。这背后的关键技术是 GRPO 和 RLVR。

GRPO：砍掉价值模型的强化学习

传统 PPO 需要四个模型，其中一个叫价值模型（Value Model，也叫 Critic）相当于一位参谋，专门估算"照现在这么走，最后大概能得多少分"。这个价值模型和主模型一样大，白白多占一份显存。DeepSeek 提出的 GRPO（Group Relative Policy Optimization，组相对策略优化）一句话：不请裁判，让模型自己跟自己的好几个答案比，谁好留谁做了一个巧妙的简化：

对同一个问题，让模型生成一组（比如 8 个）回答，用这组回答内部的相对排名来代替价值模型——8 个回答里排前面的就是"好"，排后面的就是"差"，不需要额外请一个"裁判"来打分。价值模型被砍掉了，显存直接减半。

RLVR：用"验证器"代替"人类偏好"

RLVR（Reinforcement Learning from Verifiable Rewards，可验证奖励强化学习）一句话：答案对不对机器一验便知，压根不用请人来评是推理模型浪潮的真正引擎。它的核心思想极为朴素：

数学题的答案对就是对、错就是错，代码能跑通就是能跑通、跑不通就是跑不通——这种可以自动验证的奖励，比人类的主观偏好更精确、更廉价、更可扩展。

RLVR 不需要训练奖励模型，不需要人类标注偏好，只需要一个验证器（Verifier）：

• 数学题：对比最终答案是否匹配标准答案
• 编程题：运行代码，看是否通过单元测试
• 逻辑题：用规则检查推理步骤是否自洽

答对了给固定奖励（比如 +10 分），答错了给 0 分。就这么简单。模型为了拿到更多奖励，会自动探索更优的推理路径。

DeepSeek-R1 的训练流程

DeepSeek-R1 的训练是一个多阶段迭代流程，展示了 2025-2026 年最前沿的后训练实践：

R1 的成功引发了整个行业的跟进。2025-2026年，几乎所有大厂商都推出了自己的"推理模型"——OpenAI 的 o3、Google 的 Gemini 2.5 Thinking、Kimi K3 等——它们背后都采用了类似的 RLVR + GRPO 后训练范式。这标志着后训练从"对齐人类偏好"进入了"激发推理能力"的新阶段。

七、安全对齐与红队测试

后训练不只关乎"能力"，更关乎"安全"。一个能力强大但不安全的模型，比一个能力弱但安全的模型危险得多。安全对齐是后训练中不可妥协的一环。

安全威胁全景

红队测试：以攻为守

红队测试（Red Teaming）是让一群安全研究员（"红队"）想方设法攻击自己的模型，在它被发布之前找到所有漏洞。这就像银行请人来"抢"自己，抢到了就补上漏洞，抢不到说明安保过硬。

2026年的红队测试已发展为一套成熟的工程体系：

1. 自动化扫描：用工具（如 Garak、PyRIT）自动生成数万条攻击 prompt，覆盖已知攻击模式
2. 人工深度测试：安全专家手动构造复杂攻击链，模拟真实威胁场景
3. 红蓝对抗：红队攻击、蓝队防御，反复博弈提升模型韧性
4. 修复与复测：发现漏洞后通过安全训练修补，然后再次测试验证

三层安全工程架构

2026年，业界已从"靠 Prompt 防御"进化到纵深防御体系：

八、2026年后训练全景：模块化技术栈

经过前面的讲解，我们可以把 2026 年的后训练技术栈完整地拼出来了。现代大模型的后训练已经不是一个线性的流水线，而是一个模块化、可组合的技术栈：

六大趋势

1. 纯 RL 路径崛起：DeepSeek-R1 证明纯强化学习可涌现推理能力，训练成本仅 29.4 万美元（vs OpenAI o1 据称超 1 亿美元），"算法创新可替代算力堆砌"
2. 可验证奖励替代神经 RM：规则验证器简单可靠，适用于数学/代码等确定性任务，避免了奖励黑客问题
3. 自我改进成为主流：RLAIF 和模型自评判大幅降低标注成本，12B 模型可自我对齐达到接近 GPT-4V 的水平
4. 迭代式 RL 替代单次训练：多轮"SFT→RL→拒绝采样→SFT→RL"循环成为标准做法
5. 参数高效微调普及化：LoRA/QLoRA 让个人和中小企业也能微调大模型，AI 微调从"大厂专利"变成"人人可参与"
6. 安全工程强制化：从"靠 Prompt 防御"进化到"形式化验证 + 运行时护栏 + 持续红队"的纵深防御体系

九、本章术语速查

本章小结

1. 预训练产出"基座模型"，只会续写不会对话；后训练负责把它变成可用的对话助手。
2. SFT（监督微调）教模型按指令回答；RLHF 用人类偏好训练模型追求更好的回答；DPO 把这一过程简化为监督学习。
3. PEFT（参数高效微调）冻住绝大部分参数，只训练极少量新增参数。LoRA 仅训练 0.06% 的参数，QLoRA 把基座量化到 4 位，单卡可微调大模型。
4. GRPO + RLVR 开创了推理模型的后训练新范式：砍掉价值模型用组内排名代替，用可验证奖励代替人类偏好，纯强化学习即可涌现推理能力。
5. 安全对齐是后训练不可妥协的一环：红队测试以攻为守，三层安全工程架构从持续攻防到运行时护栏到形式化验证。

搞懂了后训练和微调，你就理解了从"原始模型"到"可用产品"之间的关键鸿沟是如何被填平的。但训练好的模型离"好用"还有一步之遥——它还需要一整套"脚手架"系统才能在生产环境可靠运行。下一章，我们就走进 AI 脚手架与系统工程的世界，看看 MCP、Skills、Harness、RAG 这些从 AI 延伸出来的系统组件，是如何把一个"会说话的大脑"变成一个"能干活的助手"的。

"预训练决定了模型的智力上限，后训练决定了它能多大程度接近这个上限——而后训练的工程水平，才是真正拉开产品差距的地方。"