持续训练流水线要把数据变化与模型发布分成可审计阶段

模型上线后，数据和业务会继续变化。持续训练流水线把新数据验证、特征生成、训练、评价和候选登记自动化，但不应把“有新数据”直接连接到生产替换。每个阶段都要有可复核输入、输出和门禁。

触发器要说明为什么重训

重训可由固定周期、新标注到达、输入漂移、性能下降或业务规则变化触发。周期触发简单，却可能在数据没有改善时浪费资源；漂移触发更及时，但分布变化不一定意味着模型质量下降。

触发事件应保存指标、阈值、观察窗口和责任人。手工紧急重训也必须进入同一记录，避免绕过数据和评价门禁。多个触发同时发生时要去重，防止并发流水线争用同一生产版本。

新批数据先检查模式、类型、范围、缺失、重复、时间和主体隔离。字段存在不等于含义未变，上游单位、枚举或采样策略变化需要契约版本和变更通知。

标签往往比特征晚到，应明确标签成熟窗口。过早重训会把尚未发生的结果当作负例。删除请求、许可变化和敏感字段策略也要传播到训练快照。

Datasheets for Datasets 强调记录动机、组成、采集、处理和维护。流水线应把这些人可读背景与不可变数据版本连接，而不是只保存存储路径。

离线训练和在线推理应共享特征定义或至少有一致性测试。时间窗口、时区、缺失填补和类别编码稍有差异，就会产生训练服务偏差。

训练、验证和测试划分要按主体、时间或空间关系隔离。增量数据加入后，旧测试集是否继续保留、何时建立新外部测试集，需要预先规定。反复用同一测试集选择每周模型会逐渐过拟合。

特征产物保存代码、参数、数据摘要和依赖版本。缓存命中也要验证输入身份，不能因文件名相同复用旧结果。

训练阶段可以并行尝试多个配置，但评价阶段使用固定协议比较当前生产模型、简单基线和候选。门禁不仅包含总体指标，还应包含关键群体、校准、鲁棒性、延迟、模型大小和成本。

指标提升幅度要大于随机波动，并考虑置信区间。候选若在一个指标改善、另一个风险指标下降，应进入人工权衡，而不是由加权总分静默决定。

失败候选也要保存原因和必要证据，但大规模中间检查点可按保留策略清理。NIST Research Data Framework 对版本、来源和生命周期的要求适用于这些计算产物。

通过评价的候选进入模型注册表，获得不可变版本、谱系、模型卡和审批状态。部署系统只能选择已批准版本，并记录实际镜像、配置和特征契约。

发布可采用影子、金丝雀或分阶段放量。在线指标必须与版本关联，且有自动暂停和人工回滚条件。回滚模型时还要确认特征、数据库和下游契约仍兼容。

自动重训、自动登记和自动部署是三个独立权限。高风险系统通常允许前两者自动化，却要求人工审批发布。把权限分开能避免错误数据直接进入生产。

模型决定哪些内容被展示、哪些案例被审核，随后收集到的标签便受旧模型影响。只用曝光和点击数据重训，会强化已有排序；只标注低置信样本，又会改变样本分布。

需要保留探索样本、随机审核或外部数据，估计未被旧策略观察的结果。人工覆盖和申诉也是重要反馈，但应区分操作行为与真实标签。

训练频率过高还会让系统追逐短期噪声。应设置最小数据量、稳定窗口和冷却期，并监测版本切换频率与收益。

每次运行要有唯一标识、阶段状态、重试策略、幂等输出和审计日志。阶段失败后从检查点恢复不能重复发布或覆盖已批准产物。密钥和敏感数据只能通过受控运行环境访问。

监测包括数据延迟、门禁失败率、训练资源、候选通过率、部署收益和回滚次数。流水线成功只表示流程完成，不表示模型适合上线。

持续训练的目标是缩短从新证据到受控模型的路径，同时保留停止点。可审计阶段和明确发布权，才使自动化提高效率而不放大数据错误。

每个流水线阶段都应产生不可变输入标识、输出摘要和明确状态，使失败能够从最近可信阶段恢复。重试必须考虑幂等性：重复写入特征、注册模型或发送发布指令都不应形成多个相互冲突的结果。外部依赖不可用时，流水线应停止在可判断的位置，而不是自动退回到未经记录的数据或模型。

演练应覆盖数据延迟、标签缺失、训练资源中断、评价不达标和部署后回滚。恢复成功的判断标准不仅是任务重新运行，还包括产物版本、审批记录和线上流量全部回到一致状态。

National Institute of Standards and Technology：Research Data Framework，https://nvlpubs.nist.gov/nistpubs/SpecialPublications/1500-18/NIST.SP.1500-18r2.html
Timnit Gebru 等：Datasheets for Datasets，https://arxiv.org/abs/1803.09010