监督学习的输入、目标与误差
从带标签样本到预测函数,解释分类和回归共享的学习结构及其成立条件。
监督学习的输入、目标与误差
监督学习使用带目标的样本估计从输入到输出的关系。输入可以是影像、文本或结构化记录,目标可以是类别、数值或序列。训练的核心不是记住样本,而是在明确条件下对未见输入作出可接受预测。
标签把任务变成学习信号
每个训练样本通常包含输入 (x) 和目标 (y)。分类预测离散类别,回归预测连续数值,但两者都依赖标签定义。标签若来自不同规则、不同时间或不同标注者,模型面对的目标就不一致。
标签还可能只覆盖被观察到的结果。贷款未批准者没有后续还款记录,未检查设备没有故障结论。监督学习不能自动补齐这种选择机制,数据范围必须进入任务说明。
模型族限制可学习关系
线性模型假设输出可由特征线性组合表达,树模型用分裂形成分段区域,神经网络通过层次变换形成非线性函数。模型越灵活,拟合训练数据的能力通常越强,也越需要数据和约束控制泛化。
选择模型不应只比较最高分。推理延迟、可解释要求、缺失值行为、样本规模和维护能力都属于使用条件。简单基线有助于判断复杂方法是否真正增加了任务价值。
损失函数规定怎样惩罚误差
训练算法通过减小损失调整参数。平方误差会较强惩罚大偏差,对异常值敏感;分类对数损失关注目标类别的预测概率。损失函数与业务代价不一定一致,训练后仍要使用任务指标和阈值评估。
类别不平衡时,总体准确率可能被多数类主导。重加权或重采样会改变训练目标,需要在保持真实分布的验证集上检查后果。不能只因为少数类指标上升就忽略误报成本。
泛化依赖数据条件
训练误差低只说明模型适合已见样本。独立验证和测试用于估计未见数据上的表现,前提是划分方式模拟部署环境。时间、用户、地点或文档来源相关的数据应分组划分,避免近重复样本泄漏。
部署分布发生变化后,原评价不再充分。输入范围、标签比例、错误类型和校准需要持续监测,并设置重新评价或停止使用的条件。
预测进入系统后仍需决策规则
分类器给出分数或概率,业务动作通常还需要阈值、规则与人工复核。相同模型在筛查和自动拒绝场景中可能采用不同阈值,因为漏报和误报后果不同。模型输出的语义、版本和适用范围应随结果一起传递。
scikit-learn 用户指南整理了监督学习模型族和实践行为,《Deep Learning》从统计学习与优化解释训练。二者都不能替代具体任务的数据审计和风险判断。
上线后的真实反馈还可能被模型决策本身改变:只有被推荐的内容获得点击,只有被调查的事件得到确认。新标签若直接回流训练集,模型会不断强化既有选择。数据采集策略、反馈延迟和人工复核范围因此也要版本化,避免把决策结果误当成未经干预的现实分布。
资料依据
- scikit-learn Project:User Guide,https://scikit-learn.org/stable/user_guide.html
- Ian Goodfellow、Yoshua Bengio、Aaron Courville:《Deep Learning》在线版,https://www.deeplearningbook.org/