神经网络怎样形成非线性表示

前馈神经网络把输入依次传过若干层，每层进行参数化变换，再由激活函数引入非线性。它的表达能力来自这些变换的组合，而不是来自“神经”这一名称。网络学到的是服务于训练目标的数值表示，不是对现实对象的完整理解。

一层计算由权重和激活组成

常见层先对输入做加权求和并加入偏置，再通过激活函数得到输出。权重决定不同输入怎样组合，偏置改变响应位置。若多层之间没有非线性激活，连续线性变换仍可合并为一次线性变换，增加深度不会获得新的函数形态。

ReLU、sigmoid 和 tanh 等激活具有不同数值特性。ReLU 在正区间保持梯度，计算简单；饱和型激活在极端输入处梯度可能很小。选择激活要结合网络位置、目标和训练稳定性，不能只按流行程度决定。

中间层通常被称为隐藏层，因为训练数据没有直接规定每个单元应该表示什么。优化过程根据最终损失调整参数，使中间表示逐步保留对任务有用的变化。例如图像网络可能组合局部边缘，文本网络可能形成上下文相关向量。

这种表示不是固定语义字典。不同初始化和训练数据可以形成不同内部坐标，却产生相近输出。观察某个单元的高响应只能提供线索，不能自动证明它独立对应某个现实概念。

一些复杂函数用浅层网络也能近似，但可能需要非常多的单元。多层结构允许后面的计算复用前面形成的中间特征，以层次组合更紧凑地表达关系。深度的价值取决于任务结构，不表示层数越多越好。

增加层宽和层数会扩大模型容量，同时增加优化难度、推理成本和过拟合风险。残差连接、归一化等技术可以改善训练，但不会替代数据质量和独立评价。

网络参数很多时，可能把训练样本中的偶然细节也拟合进去。训练误差持续下降而验证误差变差，是常见的过拟合信号。正则化、数据增强、提前停止和合适的模型规模用于约束有效容量，但每种方法都带有假设。

参数数量也不是容量的唯一指标。网络结构、优化过程、训练数据和数值精度都会影响最终函数。模型能记住训练集，不等于它会在部署分布上保持表现。

分类网络最后一层通常产生分数或概率形式，回归网络输出连续值。损失函数决定哪些误差推动参数变化，标签和采样方式决定网络看见什么。训练目标没有要求保留的信息，中间表示可能主动丢弃。

建立神经网络基线时，应记录输入处理、结构、参数初始化、优化设置和数据划分，并与简单模型比较。复杂网络只有在独立数据、运行成本和错误后果上都达到要求时，才构成有效改进。

Ian Goodfellow、Yoshua Bengio、Aaron Courville：《Deep Learning》在线版，https://www.deeplearningbook.org/
scikit-learn Project：User Guide，https://scikit-learn.org/stable/user_guide.html