空间交叉验证要按部署距离隔离训练样本与评估样本
说明空间自相关为何使随机划分高估泛化能力,以及怎样根据预测区域、距离和采样过程设计空间阻塞。
空间交叉验证要按部署距离隔离训练样本与评估样本
普通随机交叉验证假定样本交换后仍可近似代表独立观测。地理数据往往不满足这个条件:相邻位置共享环境、采样过程和测量误差,模型即使没有学到可迁移规律,也能依靠附近训练样本得到较好结果。空间交叉验证的目的不是让分数更低,而是让评估距离接近真实预测任务。
随机划分为何偏乐观
空间自相关意味着相近位置的值或特征更相似。逐像元随机拆分遥感影像时,训练像元和验证像元可能只隔一个像元,并共享纹理、光照和地物对象。样点调查中,同一地块或同一站点的重复观测也可能被分到两侧。此时验证集并不是真正的新区域。
预处理会扩大泄漏。用全区域拟合标准化、插值缺失值、选择特征或提取邻域统计,都会让验证区域的信息进入训练。空间缓冲后,如果输入特征本身由跨边界窗口计算,仍可能发生间接共享。所有从数据估计的步骤都应放入每个训练折内部。
泄漏还可能来自标签生成。多个样本若由同一实测点、同一多边形或同一事件派生,应作为组整体划分。仅根据最终坐标去重,无法识别共享上游观测的样本。
分块要对应预测任务
空间阻塞把研究区划为若干块,每次用部分块训练、其余块验证。块可以来自规则网格、行政区、流域、生态区或聚类。不存在适合所有任务的固定块大小;应根据目标部署距离、空间相关范围、采样密度和环境梯度选择。
若模型将用于填补已采样区域内部空缺,验证块可以较小;若要推广到未调查省份或新的气候区,验证单元应覆盖类似的地理隔离。按行政区划分便于沟通,但边界未必对应环境差异。按环境空间分组可以检验新条件,却不一定反映真实地理迁移。
缓冲区方法在训练样本与验证样本之间排除一定距离,减少局部相关。缓冲距离可参考经验半变异、已知过程尺度或部署要求,但估计本身有不确定性。距离还不一定是欧氏距离:河网、道路、海岸和山脊会改变实际连接关系。
空间外推与环境外推
地理距离远并不保证环境条件新颖,距离近也可能跨越陡峭边界。评价时应同时描述地理隔离和特征空间覆盖。验证样本超出训练特征范围时,测试的是外推;位于训练范围内但地理独立时,更接近空间迁移。
模型可能在某些环境带表现良好,在另一些带系统偏差。除总体指标外,应按区域、距离、土地覆盖、气候区或采样来源报告误差。预测图还应标出训练支持度或外推程度,使使用者知道哪些位置主要依赖模型假设。
时间也可能与空间混杂。不同地区如果在不同年份采样,留出一个地区同时留出了一个时间段。应根据应用区分空间迁移、时间迁移和联合迁移,并在可能时设计独立的空间折与时间折。
调参与嵌套验证
如果使用全部空间折选择超参数,再把同一折的平均分当作最终泛化估计,结果仍有选择偏差。嵌套交叉验证用外层空间折估计性能,内层训练区域负责调参。样本较少时成本较高,但至少应保留一个完全未参与模型选择的区域。
类别不平衡会使某些空间折缺少稀有类别。不能因此把稀有样本拆散到所有折,因为那会重新引入邻近泄漏。可调整块边界、采用分组分层近似、合并评价指标或增加独立采样,并明确哪些类别无法获得稳定估计。
空间折数量、边界和随机过程应保存。只报告一次最有利的划分会低估设计不确定性。可以比较多种合理阻塞方案,观察结论是否稳定,但不能在看过测试结果后选择最漂亮的一组边界。
结果怎样解释
空间交叉验证估计的是特定距离和数据生成条件下的迁移性能,并不自动代表所有未来位置。阻塞过大会减少训练数据并改变类别组成,阻塞过小又可能残留依赖。报告应包含任务定义、样本单位、坐标系统、分块方法、缓冲距离、每折样本和特征支持范围。
随机划分仍可作为诊断基线:它描述在相似已观测区域内插值的上限,并能与空间划分差距比较。两种分数回答不同问题,不应只保留较高或较低的一种。
空间验证的核心是把评估边界放到模型实际要跨越的边界上。只有预测对象、距离和环境条件被明确,交叉验证分数才有可解释含义。
可视化划分本身
空间折应作为地图发布到评审材料中,显示训练、验证、缓冲和未纳入区域。表格中的样本数无法揭示狭长块、孤立样本或跨边界对象。再叠加标签和关键环境变量,可以发现某一折是否缺少完整类别或只覆盖极端条件。划分图、生成代码和随机种子应与模型结果一起保存。
资料依据
- Roberts 等:Cross-validation strategies for data with temporal, spatial, hierarchical, or phylogenetic structure,https://doi.org/10.1111/ecog.02881
- scikit-learn:Metrics and scoring,https://scikit-learn.org/stable/modules/model_evaluation.html