保形预测用校准残差构造具有覆盖保证的预测集合

普通模型通常输出一个点预测或一组概率，但“概率是 0.8”并不自动意味着同类样本中约八成正确。保形预测在既有模型外增加校准步骤，把历史样本上的不符合度分数转成预测区间或标签集合。它关注的核心问题是：在明确的可交换性条件下，新样本的真实结果落入预测集合的长期比例能否达到预先设定的覆盖水平。

Angelopoulos 与 Bates 的教程 A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification 给出了有限样本覆盖、分割保形方法和多类预测集合的清晰推导。这里的“分布无关”不是没有假设，而是不要求预先指定误差的参数分布；样本之间仍需满足可交换性等条件。

校准集把误差变成可用的分位数

分割保形预测把数据分成训练集和校准集。模型只在训练集上拟合，然后在校准集上计算不符合度。例如回归可以使用预测值与真实值之差的绝对值；分类可以使用真实类别概率的补数，或按类别概率排序后计算累计质量。校准分数的适当经验分位数决定新区间的半径或集合阈值。

设定误覆盖率为 alpha，并不意味着每个样本都拥有同样可靠的局部保证。经典结果给出的是边际覆盖：对来自同一可交换过程的一系列样本，真实值进入集合的比例至少接近 1-alpha。某个稀有地区、设备型号或年龄组可能覆盖不足，同时被其他群体的过度覆盖抵消。因此需要按业务风险检查分组覆盖、集合大小和失败样本，而不能只汇报一个全局数字。

有限样本分位数要采用向上取整的秩，而不是直接套用连续分布分位数。这个细节使覆盖保证在小校准集上仍然成立，也会使可选置信水平呈离散变化。校准集越小，高覆盖率所需分位数越接近最大残差，区间可能非常宽。

不符合度决定集合表达什么

回归中固定宽度残差区间实现简单，却忽略输入相关噪声。若模型同时估计上下分位数，可对分位数区间的偏离做保形校准，使高噪声区域得到更宽区间。这个过程仍需防止训练与校准泄漏，并验证分位数模型在部署分布中的稳定性。

多类分类的结果不是另一个置信分数，而是一组候选标签。容易样本可能只含一个标签，困难样本可能含多个标签，极端情况下也可能为空或包含全部类别，具体取决于分数定义。集合平均大小体现效率，但不能替代覆盖率；只追求小集合会牺牲保证，只追求覆盖则可能输出没有决策价值的大集合。

时间序列、空间数据和重复个体会破坏随机可交换假设。此时应按时间前后、空间区块或实体边界划分校准数据，并采用与依赖结构匹配的方法。把相邻像元随机拆到训练与校准两侧，得到的区间往往过于乐观。

分布漂移会使历史覆盖失效

传感器更换、用户构成变化、政策调整或上游特征重算，都可能改变校准分数的分布。保形保证针对生成训练、校准与测试样本的联合过程；发生漂移后，历史阈值没有永久有效性。线上系统需要监测输入分布、残差、集合宽度与实际覆盖，并规定再校准触发条件。

再校准不能使用尚未得到真实结果的样本。标签延迟较长时，应把“当前可观测性能”和“最终覆盖”分开报告。滑动窗口能适应近期分布，却减少有效样本并增加阈值波动；扩大窗口更稳定，但反应较慢。选择应由变化速度和风险容忍度决定。

模型选择也不能反复利用同一校准集。若根据校准覆盖不断调参，校准集事实上参与了训练，原有保证会被削弱。应保留独立最终评价集，或使用适当的交叉保形方案，同时完整记录数据分割与选择过程。

让预测集合进入决策流程

区间和标签集合只有与后续动作连接才有价值。医疗筛查可能把集合含多个高风险类别的样本交给专家；地理产品可以将宽区间区域标为需补充观测；自动化系统可以在集合过大时拒绝决策。阈值应结合漏判和误判成本，而不是从统计覆盖率直接推导业务动作。

评价报告应同时给出目标覆盖、实测覆盖、置信区间、集合大小分布、分组结果和时间变化。基础模型的准确率、损失与校准仍然需要报告。scikit-learn 的模型评价文档整理了常用指标及其任务边界，可用于补足基础模型评价：https://scikit-learn.org/stable/modules/model_evaluation.html。

工程实现还需保存模型版本、校准数据时间窗、不符合度定义、分位数算法和缺失值规则。保形预测并不证明模型理解了不确定性，它提供的是一个可审计的集合构造程序；保证是否适用，取决于数据划分、依赖结构和部署分布是否满足声明条件。

小样本与高覆盖目标的现实约束

当业务要求 99% 甚至更高覆盖时，校准集必须足够大，才能可靠估计尾部分位数。样本不足时，有限样本修正可能直接选择最大残差，新的极端样本仍可能落在区间外。此时扩大校准数据、降低任务粒度或采用明确的保守边界，比输出看似精确的窄区间更诚实。还应把覆盖置信区间与点估计同时报告，防止偶然一次测试达到目标就被视为长期保证。