正则化限制模型对训练数据的过度适配

模型容量足够大时，不仅能学习可泛化的关系，也能记住训练集偶然噪声。正则化通过限制参数、扰动训练过程、增加有效样本或提前停止优化，改变模型可以轻易形成的解。它的目标不是让训练误差尽可能低，而是在未见数据上获得更稳定的表现。

正则化改变可接受解的偏好

同一训练集可能存在许多近似同样低损失的参数。正则化为这些解增加偏好，例如更小权重、更平滑函数、更少特征或对输入扰动更稳定。偏好是否合理取决于任务和数据生成过程。

训练目标常写成数据损失与正则项之和。正则系数控制两者权衡：过小几乎不起作用，过大会压制真实信号并产生欠拟合。这个系数是超参数，应在训练数据内部的验证过程选择。

正则化不等于修复数据问题。标签错误、群体缺失和训练部署分布不一致仍需从数据和评估解决。更强惩罚可能让曲线更平滑，却不会补回没有覆盖的场景。

L2 惩罚对权重平方求和，使优化倾向较小参数。在梯度更新中常表现为权重衰减，但具体优化器中的 weight decay 与在损失中加入 L2 是否完全等价，要看更新规则。文档和实验应明确实现。

L1 惩罚对权重绝对值求和，可能推动一部分系数变为零，因此常与稀疏表示或特征选择联系。相关特征较多时，它可能从一组近似特征中不稳定地选择少数几个，非零不等于因果重要。

参数尺度受特征尺度和网络重参数化影响。同样的惩罚强度在未标准化特征上会产生不同约束，深层网络中归一化层也会改变权重大小的解释。

训练初期模型通常先学习较强的规律，继续优化可能逐渐适配训练细节。早停监控独立验证集，在指标不再改善时停止，并恢复表现最好的检查点。停止轮数因此成为有效容量控制的一部分。

验证指标存在噪声。只要单轮下降就停止会过于敏感，等待窗口过长又可能失去约束。监控频率、平滑方式、耐心值和最小改善量都应记录。

反复根据同一验证集调整网络、正则和随机种子，也会对验证集过拟合。最终性能仍需在未参与选择的测试集评估。

数据增强对样本做保持标签语义的变换，例如图像翻转、裁剪或颜色扰动。它增加输入变化，要求模型在这些变化下保持目标，从而减少对特定像素模式的依赖。

“保持标签”是领域假设。文字翻转、遥感影像任意旋转、医学影像颜色改变都未必合理。增强若改变了目标含义，就会生成错误训练样本。

增强后的样本并非新的独立观测，不能在切分后跨训练与测试共享同一原始对象。应先按实体或场景划分，再只在训练部分生成增强版本。

dropout 在训练时随机屏蔽一部分单元，使网络不能长期依赖固定的共适应路径。推理时使用完整网络并按实现规则调整尺度。它是一种训练扰动，不是简单删除不重要神经元。

失活比例过高会破坏信息传递，过低可能影响有限。卷积、循环和注意力结构中适合施加的位置不同。归一化、残差连接与 dropout 的顺序也会影响训练。

推理阶段通常关闭随机失活；若为不确定性估计而保持随机采样，应明确方法和校准验证，不能把多次输出波动自动解释为完整预测风险。

小批量梯度的噪声、初始化、学习率、网络宽度和参数共享都可能影响最终解，即使目标没有显式惩罚。这些现象常被称为隐式正则，但效果依赖具体优化和数据条件。

卷积中的权重共享编码局部和平移结构，较小模型通过容量上限形成约束。结构偏好与任务匹配时能改善泛化，匹配错误时则限制模型表达真实关系。

不能因为某个训练配置在一次实验中泛化较好，就把所有差异归因于隐式正则。需要控制数据、训练预算和随机性进行比较。

强正则通常使训练损失变高，但验证表现可能改善，也可能同时变差。判断依据应是独立验证和测试结果，并包含关键群体、校准和稳定性，而不是只比较平均准确率。

正则强度与数据量相关。样本增加后，原来必要的强约束可能造成欠拟合；数据更少或噪声更大时，约束需求可能提高。迁移学习中冻结层数和微调范围也属于容量控制。

可靠流程同时观察训练与验证曲线，在预先定义的搜索空间中选择配置，并报告多个随机运行。正则化提供的是有依据的偏好，不是保证模型在未知分布上正确的保险。

部署后的数据分布会继续变化，训练阶段选定的正则强度不一定长期合适。应把输入漂移、群体误差和校准偏移纳入监控；重新训练时沿用旧参数也需要重新验证，不能把它当作模型结构的固定属性。