卷积网络怎样利用局部结构

卷积神经网络并不是因为专门“看图”才有效，而是把一组关于数据结构的假设写进计算：邻近位置往往比远处位置关系更直接，同一种局部模式可能出现在不同位置，组合局部模式可以形成更大范围的表示。这些假设适合影像、规则网格和部分时序信号，却不适合所有数据。

局部连接减少无关参数

全连接层让每个输出单元读取全部输入。对于一幅影像，这意味着一个局部边缘检测单元也要为远处每个像元保存独立权重。卷积层只读取输入中的局部窗口，一个输出位置由附近像元和一组小尺寸参数计算，连接范围由卷积核大小决定。

局部连接降低了参数数量，也限制了单层能够直接观察的范围。这不是无条件优势：若任务依赖相距很远的位置关系，网络必须通过堆叠层、扩大卷积核、空洞卷积或其他机制逐步汇集信息。局部性是一项建模假设，需要由数据结构验证。

二维卷积通常在高度和宽度方向滑动卷积核，对窗口内输入做加权求和。实际深度学习库实现的运算在数学方向上常更接近互相关，但训练会直接学习核参数，工程文档仍习惯称其为卷积。讨论结果时应关注张量维度、步幅和填充，而不是仅凭名称推断输出形状。

同一组卷积核参数会应用到所有空间位置。一个核若学会响应某类垂直边缘，它可以在影像左侧或右侧产生响应，不需要为每个位置分别学习。这种权重共享使模型对平移具有结构上的等变性：输入模式移动时，特征图中的响应位置也随之移动。

等变并不等于最终预测完全不受平移影响。边界填充、步幅、池化、裁剪和后续全连接操作都可能破坏这种性质。遥感影像中的地物方向、比例和成像角度也会变化，普通卷积不会自动获得旋转、尺度或投影不变性。

共享参数还意味着模型假定不同位置可以使用相同局部规则。在医学影像或固定布局文档中，位置本身可能带有重要语义；在经纬网格上，高纬区域像元代表的实际面积也不同。此时需要把位置、投影或区域条件明确加入表示。

每个卷积核生成一个输出通道，常称为特征图。通道不是预先规定的“边缘”“纹理”或“目标”字典，而是由损失函数和训练数据共同塑造的中间表示。浅层响应有时易与局部模式联系，深层通道往往由许多模式和上下文共同决定。

输入含有多个通道时，一个卷积核通常同时跨越全部输入通道，再产生一个输出通道。第一层处理 RGB 影像时会组合三个颜色通道；处理多光谱数据时，还要考虑不同波段的物理含义、空间配准与分辨率差异。简单把所有波段堆叠起来，不会自动解决传感器响应或观测时间不一致。

激活函数使卷积层之间能够形成非线性组合，归一化等操作则会改变数值分布和训练行为。只查看卷积核尺寸无法完整说明一层做了什么，模型记录应包括通道数、激活、归一化、步幅、填充和数据布局。

步幅决定卷积核移动间隔。步幅大于一会降低输出空间尺寸，也可能跳过细小变化。填充在输入边界外增加数值，使输出尺寸或边界处理满足设计要求；零填充会引入与真实影像不同的边界环境，反射或复制填充也各有假设。

池化在局部区域内取最大值、平均值或其他汇总，用于降低分辨率并扩大后续单元覆盖范围。它能减少计算并对小范围位移变得不敏感，也会丢失精确位置和小目标。分割、关键点和遥感小目标任务常需要保留高分辨率路径或恢复空间细节。

下采样前若没有充分抑制高频变化，还可能产生混叠。模型能够训练并不表示采样过程符合信号条件。对像元级输出，应比较下采样、插值和标签分辨率之间的关系。

一个深层单元能够受到输入多大范围影响，称为感受野。连续堆叠卷积会扩大理论感受野，步幅和池化会使范围增长更快。然而理论上可达的区域不表示其中每个位置贡献相同，实际有效感受野还受参数、激活和训练影响。

感受野应与目标尺度匹配。核太小且网络太浅，模型可能只看到建筑的一角；过度下采样又会让窄道路或小斑块消失。多尺度结构、跳跃连接和特征金字塔等设计都在处理局部细节与大范围上下文的矛盾，但会增加内存和融合复杂度。

卷积的结构先验减少了部分学习负担，不会消除样本偏差。训练影像若只来自某个季节、地区或传感器，模型可能把背景、分辨率和处理痕迹当作类别线索。随机裁剪和翻转等增强只在标签对相应变换保持不变时合理。

评价时应按地点、时间或主体隔离近重复影像，避免相邻切片同时进入训练和测试。还要检查边界、不同目标尺度和不同成像条件下的错误，而不是只报告总体准确率。卷积网络利用局部和平移结构，但模型能否泛化仍由任务定义、数据生成过程和验证设计共同决定。

Ian Goodfellow、Yoshua Bengio、Aaron Courville：《Deep Learning》卷积网络章节，https://www.deeplearningbook.org/
Stuart Russell、Peter Norvig：《Artificial Intelligence: A Modern Approach》第四版资料站，https://aima.cs.berkeley.edu/