遥感语义分割为每个像元预测地物类别
从编码器、解码器和跳跃连接理解密集分类,并分析切片、边界、类别不平衡和空间独立评价。
遥感语义分割为每个像元预测地物类别
遥感语义分割为影像中的每个像元分配类别,例如建筑、道路、植被和水体。它保留空间形状,比整图分类更适合制图和面积统计;但同类相邻对象不会自动分开,也不提供独立实例身份。
密集预测结果受传感器、分辨率、切片、标签和后处理共同影响。高像素精度不表示地图边界、对象数量或区域外泛化都可靠。
编码器提取上下文,解码器恢复空间位置
卷积编码器逐步下采样,扩大感受野并形成高层语义。下采样有助于识别大结构,却损失小对象和精细边界。解码器把低分辨率特征上采样回原网格,输出每类概率。
U-Net 通过跳跃连接把编码器浅层的高分辨率特征传给对应解码层,结合位置细节与语义上下文。这个结构最初用于生物医学图像,遥感应用会根据波段、场景和目标调整。
上采样可以恢复输出尺寸,不能恢复输入处理中已经丢失的真实信息。建筑边缘若小于像元或被重采样模糊,模型只能作统计推断。
大幅影像需要切片但不能忽略上下文
卫星和航空影像常远大于网络输入,训练和推理要裁成小块。切片过小会截断道路和大型建筑,模型缺少周边上下文;过大则受显存限制并降低批量多样性。
推理块应设置重叠,使用窗口权重融合边缘区域,减少接缝。填充方式也会改变边界预测,零填充可能制造人工暗边。
随机裁片容易大量采到背景,训练批次应按类别和场景采样。验证集必须按空间区域分开,不能让相邻重叠块同时进入训练和测试。
标签栅格包含边界与时间误差
参考标签可能来自人工解译、矢量地图或其他日期影像。矢量栅格化规则、配准偏移和地物变化都会造成标签边界不一致。模型对这些像元的“错误”可能是参考问题。
标签类别要互斥且定义清晰。树冠遮住道路时,是标可见地表还是底层道路,必须统一。混合像元和阴影可设置忽略区,避免强迫模型学习不可靠边界。
不同标注人员之间应抽样复核,记录一致性。若人工本身无法稳定区分两个类别,模型指标也不应被解释为精确真值。
类别不平衡会让总体精度失真
背景和植被往往占据多数像元,道路、车辆或小建筑很少。模型即使忽略稀有类别,也可能取得很高总体准确率。应报告每类精确率、召回率、IoU 和宏平均。
损失可以使用类别权重、Dice 或焦点思想强调难类,但过高权重会增加误报。采样、损失和阈值要在独立验证区域共同调整。
面积统计还受系统性偏差影响。一个类别 IoU 尚可,若长期偏向多预测,区域总面积仍会错误。应同时检查混淆矩阵和面积偏差。
边界质量与区域质量是两类问题
IoU 衡量预测与参考区域重叠,对大对象内部小误差不敏感,对细线偏移很敏感。道路等细长对象还需要连通性和中心线指标,建筑可检查边界距离与对象完整性。
后处理如形态学开闭、条件随机场或小斑块过滤能改善视觉,但也会删除真实小对象。规则参数应进入模型版本和评价,不能只展示处理后最好样例。
若最终产品要矢量化,还要评估孔洞、碎片和拓扑。像元分类通过不代表生成的多边形适合制图或编辑。
多光谱与高程输入需要一致预处理
遥感分割可同时使用可见光、近红外、DSM 或 SAR。不同数据要在空间、时间和分辨率上对齐,缺失波段和无数据应显式处理。
归一化统计要从训练区计算,并在推理保持一致。对不同传感器直接使用同一均值方差,可能放大光谱差异。波段顺序错误会让模型输出看似正常但语义失效。
辅助高程能区分建筑和道路,也可能让模型依赖某地区特有数据质量。部署区域缺少相同质量 DSM 时,性能会明显下降。
基准结果不能直接代表生产地区
ISPRS Vaihingen 基准提供高分辨率正射影像、DSM 和语义标签,适合比较方法。其城市形态、地面采样距离和类别定义属于特定场景。
在该基准上的排名不能证明模型适合其他国家、农村、不同季节或卫星分辨率。生产验收应保留目标区域测试集,并按城市类型和成像条件分层。
基准反复调参还会形成隐性测试集过拟合。最终方案需要盲区或新时间数据确认。
部署必须保存概率与质量信息
只保存最终类别会丢失不确定性。类别概率、熵或置信边距可帮助筛选复核,但需要校准;模型高分也可能在域外场景自信错误。
滑窗位置、增强、模型集成和阈值共同决定结果。制图成果应记录模型、输入资产、处理代码和后处理版本,并保留原始概率以便重算。
遥感语义分割把影像转换为像元级地物图,是强大的制图工具。只有切片、标签、类别平衡、边界指标和区域外测试都得到控制,网络输出才可作为地理产品,而不只是视觉上平滑的分类图。
资料依据
- Original authors:U-Net: Convolutional Networks for Biomedical Image Segmentation,https://arxiv.org/abs/1505.04597
- International Society for Photogrammetry and Remote Sensing:2D Semantic Labeling - Vaihingen,https://isprs.org/resources/datasets/benchmarks/UrbanSemLab/2d-sem-label-vaihingen.aspx