分类精度评价依赖独立参考样本
从概率抽样和误差矩阵理解总体精度、用户精度、生产者精度及面积估计的不确定性。
分类精度评价依赖独立参考样本
土地覆盖图的精度不能用训练样本上的正确率代表。评价需要从目标区域按可解释设计抽取独立样本,取得比地图更可靠的参考类别,再比较地图与参考。误差矩阵只是汇总工具,结论是否有效首先取决于抽样和参考数据质量。
参考数据必须独立且更可信
参考类别可以来自同期高分辨率影像、现场调查或经过验证的数据组合。它并非绝对真值,但应比被评地图更适合判定类别,并记录日期、尺度和解释规则。
训练中用过的样本不能再作为独立精度样本。模型已经针对它们优化,正确率会偏高。同一地块的相邻像元也不应跨训练和评价集合泄漏。
多位解释者可对困难样本独立判读,并记录一致性和不确定类别。强行给每个模糊位置唯一标签,会把参考误差隐藏为地图误差。
概率抽样支持总体推断
简单随机、系统、分层和整群抽样具有不同成本和方差。类别稀少时,按地图类别分层可以保证每类有足够样本,但统计时必须使用相应包含概率和权重。
只挑选容易到达、边界清晰或模型高置信位置属于便利样本,不能代表完整地图。它适合调试,不适合声明总体精度。
样本量应结合期望精度、类别比例和允许不确定性设计。每类固定相同数量便于比较,却不代表面积比例,报告总体结果时要加权。
误差矩阵区分两种类别视角
误差矩阵把地图类别与参考类别交叉计数。对角线是匹配样本,非对角元素显示类别间混淆。行列方向必须在报告中明确,不同资料的排列约定可能相反。
用户精度回答“地图标成某类的对象有多少确实属于该类”,与制图使用者面对的误标相关。生产者精度回答“参考中的某类有多少被地图找出”,反映漏分。
总体精度把所有类别汇总,容易被面积大的类别主导。一个地图总体很高,稀有湿地或建设用地仍可能很差,因此必须同时报告逐类结果。
数量分歧与配置分歧不同
地图可能正确估计某类总面积,却把位置放错;也可能位置大体正确但面积偏多。误差矩阵中的漏分和错分共同反映这些问题,但空间分布还需制图检查。
边界像元和混合像元常发生配置分歧。若应用关心斑块边界,应增加位置和形状评价,单个像元矩阵不足以描述。
不同类别体系之间无法直接比较精度。合并类别通常提高数值,因为原来的类别间错误消失,但产品信息也减少。
面积估计可用抽样误差校正
直接按地图像元计数得到的类别面积受分类偏差影响。概率样本和误差矩阵可以估计参考类别面积,并给出标准误或置信区间。
稀有类别即使用户精度不高,面积校正仍可能重要。报告应区分地图标称面积与误差调整面积,说明权重和方差方法。
没有概率抽样时,通常无法给出设计无偏的区域面积和可靠置信区间。增加一个百分比符号不能弥补抽样基础缺失。
空间相关影响有效样本量
相邻像元往往属于同一斑块,不能视为完全独立。大量集中在少数地块的样本,名义数量很大,实际覆盖的变化有限。
抽样可在空间上分散,或把地块作为抽样单位并使用匹配的估计方法。评价分辨率也要与地图最小制图单元一致。
若参考点定位误差接近像元大小,边界样本的比较会不稳定。可以记录位置容差或采用区域参考,但规则必须预先确定。
置信区间比单一数值更完整
样本精度是对总体精度的估计,存在抽样不确定性。置信区间表达在设计和假设下的估计精度,样本少的类别区间通常更宽。
分层抽样的方差计算必须使用层权重,不能套用简单随机公式。聚类或系统抽样也有相应设计效应。
比较两张地图时,区间重叠不是唯一显著性判断;若使用相同参考样本,可采用配对方法分析差异。
评价协议应在看结果前确定
类别映射、难判样本处理、边界规则、抽样和指标应在查看最终结果前写明。看到低精度后删除困难样本或合并类别,会产生选择偏差。
评价数据和代码应版本化,保留每个样本的地图类别、参考类别、权重、来源和解释备注。这样才能复核误差矩阵和面积估计。
分类精度评价的核心不是生成一个总体百分比,而是用独立概率样本说明哪些类别可靠、错误怎样发生、面积有多大不确定性。只有这些信息完整,地图才适合支持决策。
资料依据
- NASA ARSET:Accuracy Assessment of a Land Cover Classification,https://appliedsciences.nasa.gov/get-involved/training/english/arset-accuracy-assessment-land-cover-classification
- NASA ARSET:Land Cover Classification with Satellite Imagery,https://appliedsciences.nasa.gov/land-cover-classification-satellite-imagery