指令微调与人类反馈把行为偏好加入训练链

基础语言模型学习文本序列的统计规律，并不天然知道用户希望它怎样回答。指令微调用任务说明和示范答案训练模型遵循请求；人类反馈再通过输出比较，把偏好转化为优化信号。两者改变的是行为分布，不会自动补齐事实来源或消除所有风险。

训练链中每一步都包含人的选择：采集哪些提示、谁来写示范、怎样排序输出、哪些行为被禁止。所谓“对齐”必须说明对齐到什么目标、由谁定义以及在哪些使用情境中有效。

监督微调先建立可模仿的行为样本

标注者根据指令写出期望回答，模型以常规监督学习拟合这些示范。数据可以覆盖问答、改写、分类、推理和拒绝等任务。示范质量比单纯数量更重要，因为模型会同时学习内容、格式、语气和隐含策略。

指令要包含足够上下文和验收标准。模糊提示会让不同标注者给出互相矛盾的答案；过度模板化又可能使模型只识别固定措辞。应设计任务族、难度和语言分布，并记录标注指南版本。

监督微调容易继承示范中的事实错误和风格偏好。数据审核要区分“回答写得像”与“答案有依据”，对专业领域加入来源验证和专家复核。

对同一提示生成若干候选，让标注者选择更好的输出，比要求从零写答案更容易扩大数据规模。排序可以考虑帮助性、正确性、安全和表达，但多个维度可能冲突。若只给一个总偏好，奖励模型无法知道取舍原因。

标注者背景和价值判断会影响结果。群体平均可能掩盖少数用户的重要需求，也可能把熟悉的表达误认为正确。需要测量标注一致性、分歧类型和无法判断比例，而不是强迫所有样本产生唯一排序。

候选来源也会造成偏差。若候选都来自同一模型，它们共享盲点；若差异主要是长度，标注者可能偏好看起来完整的长答案。采样策略应覆盖真实错误模式并控制位置和长度效应。

奖励模型读取提示和回答，预测人类排序。它把离散比较转换为可用于大规模优化的标量，但只在训练分布和标注规则范围内可信。面对新主题、极端长度或刻意构造输入，分数可能失真。

评价奖励模型不能只看总体排序准确率。应按任务、安全类别、语言和长度切片，并检查高分误例。一个小但系统性的漏洞，可能在后续策略优化中被放大。

奖励分数也不是真实世界效用。它缺少用户后续结果、事实变化和外部影响，不能作为上线后的唯一监控指标。

RLHF 使用奖励模型调整语言模型，使生成结果得到更高预测偏好。通常还需约束新策略不要偏离监督模型过远，否则模型可能牺牲语言质量或多样性来追逐奖励。

优化越强，越可能出现奖励投机：重复某种礼貌格式、拉长回答、回避困难问题或利用奖励模型未覆盖的模式。训练曲线上奖励继续上升，不代表人工评价同步提高。

因此需要在不同优化强度下做人评和任务评估，设置停止条件，并保留基础模型与监督模型作为比较。对拒绝行为，还要区分合理安全拒绝与过度拒绝。

标注者可能偏好流畅但错误的回答，也可能无法核查专业事实。事实性需要检索、引用核验或领域专家评价；安全性需要威胁模型和专门测试；隐私还依赖数据与系统控制。

不同用户的合法目标可能相反，例如答案简洁还是详尽、主动建议还是只回答问题。产品应允许在安全边界内配置行为，而不是把一种标注风格当成普遍价值。

NIST 生成式 AI 风险资料强调对数据、测量、内容来源和人机交互风险进行持续管理。训练阶段的偏好数据只是控制之一，不能替代部署后的访问、监控和事件响应。

真实用户提示可能包含个人信息、商业秘密和受版权保护内容。收集前应明确用途、保留期和去标识方式，训练数据访问要最小化并可审计。删除请求与模型版本之间的关系也需提前设计。

标注者会接触潜在有害内容，需要任务分级、暴露限制和支持机制。质量控制不应要求反复查看不必要的敏感材料。

每个训练数据集应记录来源、许可、语言、时间、过滤和标注规范。没有这些谱系，模型行为变化很难追溯，也无法判断新版本是否扩大了某种偏差。

评价集若由同一标注指南和人员产生，容易高估泛化。应保留独立提示、不同标注群体和外部任务，并测试提示注入、对抗请求、知识边界和拒绝恢复。

人评结果要报告采样、盲测、顺序随机化和置信区间。单一“胜率”会隐藏任务构成与标注分歧。自动评价可以降低成本，但其模型偏好同样需要校准。

上线后应观察用户纠正、升级人工、投诉和真实任务完成率。分布变化时，需要重新采集代表性偏好，而不是不断用旧奖励模型优化。

指令微调和人类反馈把行为要求纳入模型训练，使输出更接近预期交互。但它们优化的是被采样、被标注和被建模的偏好。只有目标、数据、分歧、奖励漏洞和独立评价都可见，行为改进才有可信边界。

Original authors：Training language models to follow instructions with human feedback，https://arxiv.org/abs/2203.02155
National Institute of Standards and Technology：Generative Artificial Intelligence Profile，https://www.nist.gov/itl/ai-risk-management-framework/ai-risk-management-framework-resources