损失函数定义模型优化的代理目标

训练算法需要一个可计算的量来判断参数变化是更好还是更差。损失函数把预测与目标之间的偏差变成数值，优化器据此更新参数。业务真正关心的可能是漏诊、收益、排序质量或长期风险，而训练损失通常只是这些目标的可优化代理。选择损失就是选择模型会优先纠正什么错误。

经验风险把样本损失汇总为目标

对每个训练样本计算损失后，常用平均或加权平均形成经验风险。它描述模型在已观测样本上的表现，不等于未知总体上的真实风险。训练集的抽样方式、标签噪声和样本权重都会改变目标所代表的人群。

总训练目标还可能包含正则项，用于限制参数规模、模型复杂度或表示性质。数据损失衡量拟合，正则项表达偏好，两者通过系数权衡。报告“损失下降”时应说明观察的是哪一部分，否则无法判断是拟合改善还是正则约束变化。

小批量训练用部分样本估计整体梯度。不同批次的类别比例和难例分布会造成波动，因此单步损失不能直接代表模型质量。验证集指标和稳定窗口更适合判断泛化趋势。

平方误差把预测与目标之差平方。误差翻倍时贡献增加四倍，因此少量大偏差会强烈影响训练。在线性回归的常见统计假设下，它与高斯噪声的最大似然估计相联系，但这一解释依赖噪声结构和独立性。

大误差敏感既可能是需要，也可能是风险。若大偏差确实代价更高，平方误差符合目标；若标签含有异常值，少数样本可能主导梯度。绝对误差或平滑的稳健损失能降低异常值影响，却会改变最优预测所对应的统计量。

对多个量纲不同的回归目标直接求和，会让数值尺度大的目标占优势。归一化、单位转换或显式权重应由业务精度要求决定，而不能只为了让曲线好看。

分类模型常输出类别概率，并用负对数似然或交叉熵训练。给真实类别很低概率会产生较大损失，促使模型不仅排对类别，还要调整置信程度。softmax 与交叉熵的组合适用于互斥多类；独立标签任务通常采用逐标签的二元形式。

对数损失建立在目标编码和概率模型之上。标签错误时，高置信预测会受到很大惩罚；类别本身存在歧义时，硬标签可能不能表达真实分布。标签平滑等方法会改变目标分布，但不能修复错误的类别定义。

较低交叉熵通常意味着预测分布更贴近标签分布，却不保证固定阈值下的准确率、召回率或业务成本更好。概率校准、排序能力和决策阈值仍需分别评估。

少数类别对平均损失贡献较小时，模型可能通过偏向多数类获得较低目标值。类别权重、样本权重或重采样可以改变训练关注比例，但同时改变了模型面对的有效数据分布。

权重应反映采样设计或错误代价，而不是机械取类别频数倒数。极端权重会增加梯度方差，使少量噪声标签影响过大。若训练分布被重采样，输出分数的概率解释也可能需要重新校准。

不平衡问题还包括评价和阈值。一个训练损失可以产生良好排序，但默认阈值不符合业务；也可能少数类召回提高而误报成本不可接受。应同时检查按类别分解的指标、概率质量和目标人群基准率。

准确率、F1、排序指标或离散业务规则往往不可微，或在单个样本上没有稳定梯度。训练因此使用可微代理损失，希望改善代理也能改善关心的指标。这种一致性需要条件，不能默认成立。

例如，同样的概率排序在不同阈值下会产生不同 F1；直接优化平均交叉熵不会自动找到业务阈值。排序任务的成对或列表损失更贴近顺序，但可能不提供校准概率。选择代理前应先定义最终决策和错误代价。

评价指标可以保留业务可解释性，损失则服务于参数学习。训练日志同时展示二者，有助于发现损失继续下降而业务指标停滞、甚至恶化的错位。

一个模型同时预测类别、位置和属性时，常把多个损失加权求和。各损失数值范围和梯度尺度不同，权重一变，参数更新方向就会变化。简单相加隐含这些任务可以按当前单位直接交换。

多任务共享表示可能产生协同，也可能发生梯度冲突。某个任务损失下降不能证明其他任务或整体产品改善。应分别报告各任务指标，并检查不同群体和关键场景。

约束、公平性或安全要求若只作为很小的惩罚项，优化器可能把违反约束当作可接受交换。硬约束、分层决策和上线守卫有时比单一加权损失更合适。

训练损失下降而验证损失上升，通常提示模型开始拟合训练细节，但也可能来自训练与验证预处理不同、标签质量不同或分布偏移。仅凭曲线形状不能确定原因。

比较两个实验时，必须保持损失定义、归约方式、权重、数据版本和批量策略一致。有些实现返回样本总和，有些返回平均值；批量大小变化会让未经归一化的数值不可比。

稳定的选择流程先写明业务决策，再确定评价指标，随后选择具有合理联系的可优化损失，并用独立数据验证这种联系。损失函数是训练系统的合同：它准确表达什么，模型就会努力优化什么；合同中没有写入的目标，不会因为它很重要而自动得到保障。

Goodfellow、Bengio、Courville：Deep Learning，https://www.deeplearningbook.org/
scikit-learn Project：Metrics and scoring，https://scikit-learn.org/stable/modules/model_evaluation.html