机器学习从什么中学习

机器学习不是让计算机凭空获得知识，而是根据一批经验调整一个可计算的模型，使它在指定任务上减少错误。这里的“经验”通常是样本，也可能是交互轨迹、人工反馈或环境返回的奖励。模型学到的不是现实本身，而是训练数据、目标函数和模型表示共同允许它捕捉到的规律。

这个区别很重要。一个房屋价格模型看到的是位置、面积、楼龄等字段和过去的成交价；它并不知道家庭为什么选择某处居住。一个影像分类模型看到的是波段数值与标签；如果标签主要来自某一季节或地区，它可能把季节特征当成类别依据。机器学习的结果始终带着数据生成过程留下的边界。

一个学习问题由什么构成

监督学习从带有目标值的样本出发。分类任务预测离散类别，回归任务预测连续数值。无监督学习没有预先指定的目标值，常用于寻找数据结构、低维表示或相似群体。强化学习则让主体在环境中采取动作，根据后续回报改进行为。它们都属于“从经验改善表现”，但数据怎样产生、反馈何时出现以及怎样判断好坏并不相同。

在监督学习中，一条样本通常写成输入 (x) 和目标 (y)。模型 (f_\theta(x)) 由参数 (\theta) 控制，损失函数衡量预测与目标之间的差异。训练过程寻找一组参数，使训练样本上的平均损失较小。分类中的交叉熵、回归中的平方误差只是常见选择，不是对所有业务后果都合适的答案。

训练目标还需要和实际决策对齐。疾病筛查更关心漏诊代价，欺诈识别要考虑误报造成的人工审核成本，遥感制图可能要保证少数地物不会被总体精度掩盖。损失函数便于优化，业务指标用于判断结果是否有用，两者可以相关，却不必相同。

训练误差描述模型对已经见过的数据拟合得怎样，真正关心的是它面对新样本时的表现，也就是泛化。训练误差很低而新数据误差很高，通常称为过拟合；模型连训练数据中的主要关系也没有表达出来，则表现为欠拟合。二者不能仅凭“模型复杂”或“模型简单”判断，还取决于样本量、噪声、正则化、特征表示和数据分布。

Deep Learning 在机器学习基础部分把训练误差与泛化误差区分开来，并讨论容量、正则化和超参数对泛化的影响。工程上最容易忽略的不是公式，而是新样本是否仍来自近似的过程。客户群体、传感器、采样方法或政策一旦变化，即使算法和代码完全不变，模型误差也可能改变。

独立同分布常被用作理论分析的起点：样本彼此独立，并来自同一分布。真实数据很少完全满足这一假设。相邻像元具有空间相关，同一用户产生多条记录，时间序列受前后状态影响。处理这些数据时不能机械随机打散，否则训练集和测试集可能共享本应隔离的信息。

数据量不是唯一标准。样本是否覆盖目标人群、类别定义是否稳定、标注者是否一致、缺失值怎样产生，都可能比记录数量更重要。历史数据还会保留过去制度和操作方式造成的偏差。若贷款模型只从“已经获批”的人群中学习还款情况，它就无法直接观察被拒绝者的真实表现。

特征也不是中性的。使用邮政编码可能提高局部预测能力，却可能间接编码收入或族群差异；把采集日期删除并不一定消除季节影响，因为植被、光照和云量仍会留下线索。检查特征应同时问三个问题：预测时能否取得，这个变量是否泄露了结果，模型依赖它会不会引入无法接受的后果。

NIST 的 AI 风险管理框架 1.0 强调，风险管理覆盖设计、开发、部署和使用过程。放到机器学习基础中，这意味着数据来源、预期用途、受影响人群、监控方式和人工责任都属于模型工作的条件，不是上线以后才补充的说明。

训练完成的参数还不能独立提供稳定能力。线上系统需要复现特征处理，约束输入范围，处理超时与缺失，记录模型和数据版本，并在分布变化或反馈失真时发出信号。离线评估使用的处理逻辑只要和线上存在细小差异，就可能形成训练与服务偏差。

因此，理解一个机器学习结果至少要能回答：样本来自哪里，目标代表什么，训练优化了什么，评估面对什么新数据，失败会影响谁，以及系统如何发现条件已经变化。算法名称只能说明所用工具的一部分，不能替代这些问题。

Deep Learning，Ian Goodfellow、Yoshua Bengio、Aaron Courville，机器学习基础、泛化、容量与正则化章节。
NIST Artificial Intelligence Risk Management Framework 1.0，用于人工智能系统全生命周期风险与可信特性的边界。