模型漂移监控要区分输入、概念与性能变化

模型上线后面对的数据生成过程会继续变化。用户结构、传感器、业务规则和上游处理都可能改变，使训练时期的关系不再成立。漂移监控的目标不是发现任意统计差异，而是判断变化是否影响模型、影响哪些群体，以及是否需要修复数据或更新决策。

输入漂移不等于性能下降

协变量漂移指输入特征分布变化。某地区流量增加、设备固件升级或季节切换都可能触发告警，但模型在相关区域仍可能正确。

标签比例变化会改变基准率和告警数量。概念漂移则是输入与标签关系变化，例如欺诈策略绕过旧规则。三类变化需要不同响应，不能由同一个距离指标代替。

输入完全稳定也不证明性能稳定。上游可能把错误值压进原有范围，标签定义也可能改变而不影响特征直方图。

缺列、类型变化、单位错误、空值激增和类别编码变化通常比复杂统计漂移更紧急。数据契约应定义字段、范围、枚举、时间和来源，异常时阻止或降级推理。

均值和分位数适合连续变量，类别频率适合离散变量；高维表示可用距离或分类器检测，但结果依赖样本量和窗口。

样本数很大时微小差异也会显著，样本少时又可能漏报。告警阈值应结合效果大小、业务容忍度和持续时间，并控制大量特征的多重比较。

分群监控能发现总体分布掩盖的变化。地区、设备和客户群的样本量要同时展示，避免把随机波动解释成严重漂移。

许多任务的真实结果几天或几个月后才出现。近期数据没有标签，不应自动当作负例。应维护预测时间与标签成熟时间，按成熟队列计算指标。

延迟期间可以观察代理信号，如人工复核、规则冲突和分数分布，但代理不能替代最终性能。代理本身也可能被模型决策影响。

选择性标签是更深风险：只有被模型拦截或人工查看的样本才获得标签，未处理样本结果未知。此时普通准确率会产生偏差，需要随机抽检或因果设计补充观察。

评价要复用上线前定义的指标，包括校准、阈值效果和关键群体。只监控平均准确率会漏掉少数类与尾部风险。

模型决策会影响用户和环境。推荐内容改变点击，风控拦截改变可观察交易，维护预测改变设备故障率。未来训练数据因此不是被动抽样。

把模型产生的标签再次训练会强化旧偏差。训练集必须标明标签来源，区分人工事实、业务规则和模型推断。

阈值调整也会改变反馈范围。版本比较应记录当时策略和流量分配，不能把两个时期的原始结果直接归因于模型。

每个监控项应有负责人、严重度和处理步骤。数据质量错误可能暂停推理，季节性变化可继续观察，性能确认下降才进入再训练或回滚。

多个相关特征同时告警应合并为事件，避免值班人员面对数百条重复通知。告警页面要关联模型版本、数据版本、发布和上游变更。

漂移窗口既要足够快，又要避免日常周期。可以同时使用短窗口发现突变、长窗口观察趋势，并与历史同周期比较。

重新训练前要确认标签和样本代表新目标，修复上游缺陷比让模型适应错误数据更重要。候选模型仍要通过独立测试、群体评估、安全和成本门禁。

滚动或影子评估可以观察新模型输出而不立即影响用户。发布后保留旧模型和数据快照，出现退化时能够回滚。

频繁自动再训练会让系统难以审计，也可能在短期异常上过拟合。触发条件应包括变化持续性、性能证据和人工审批。

漂移计算总要选择一个参考分布。固定训练集便于解释长期偏离，却可能把已经确认的季节变化反复告警；滚动参考更贴近近期状态，又可能缓慢追随退化，使异常逐渐变成新常态。稳健做法是同时保留训练基线、同周期基线和近期运行窗口，并明确每个指标比较的是哪两段数据。

窗口中的样本还要与模型版本、特征管道和策略版本对齐。若发布期间混入两版预测，分布变化可能只是流量切换结果。回填标签时应依靠不可变预测标识连接原始输入与最终事实，避免按当前特征重新计算后形成数据泄漏。

告警规则也要用历史事件回放验证。没有已知事件时，可注入受控缺失、比例变化和取值偏移，检查监控是否在期望时间发现问题，以及是否把正常日周期误报为事故。监控本身的延迟、缺数和失败率应纳入值守，否则仪表板无变化可能只是观测链路失效。

模型漂移不是一个单独数值，而是一组关于数据、关系和决策效果的假设失效。可靠监控先保证输入正确，再建立延迟标签下的性能证据，最后把告警连接到可审计的处置。