信息量、熵与学习目标

信息论为“不确定性有多大”和“观察结果带来多少信息”提供了可计算语言。机器学习中的交叉熵、相对熵和信息增益都由此而来。它们操作的是概率分布，不是对文本重要性或知识价值的日常评价。

罕见事件携带更多信息

在给定概率模型下，越不常见的事件发生时，带来的信息量越大。若一个事件几乎必然发生，观察到它不会显著改变认识；若事件概率很低，发生后则提供更多新信息。信息量使用对数，使独立事件共同发生时的信息可以相加。

这个解释依赖概率模型。事件被估计为罕见，可能是世界本身少见，也可能是样本不足。信息量不能脱离事件定义和概率来源使用。

熵描述分布平均的不确定性

熵是各结果信息量的概率加权平均。概率集中在少数结果时，熵较低；结果接近均匀时，熵较高。它可以描述类别分布的不确定性，也可以用于决策树分裂和编码分析。

熵不是数据集“混乱程度”的通用分数。改变类别划分会改变分布，连续变量还涉及不同定义。比较熵时必须使用相同事件空间和对数底，不能把不同任务的数字直接排序。

交叉熵比较预测分布与目标

分类模型输出各类别概率时，交叉熵衡量目标分布在模型预测下需要承担的平均信息代价。对于单标签分类，它会对真实类别得到很低预测概率的情况给予较大惩罚。这使它适合训练概率分类器，但也容易受到错误标签和过度自信输出影响。

交叉熵下降表示预测分布更接近训练目标，不保证分类阈值、少数类召回或实际决策成本同时改善。训练仍需使用与用途匹配的评价指标。

相对熵衡量分布差异

KL 散度比较一个分布相对于另一个分布增加了多少信息代价。它通常不对称，也不满足距离的全部性质，因此不能直接当作普通几何距离。变分推断、知识蒸馏和分布正则化都会使用它，但两个分布的支持范围需要兼容。

交叉熵可以分解为目标分布自身熵与相对熵之和。当目标分布固定时，减小交叉熵等价于减小相对熵；若目标也变化，这个简化不能直接沿用。

从公式回到任务语义

信息论指标很容易计算，却可能被错误解释。文本模型的低困惑度说明它对序列分布预测较好，不等于内容真实；表示之间统计依赖较强，也不证明存在因果关系。任何指标都需要说明随机变量、样本分布和估计方式。

《Deep Learning》将信息论作为理解机器学习目标的重要基础，《Artificial Intelligence: A Modern Approach》则把不确定性推理放在更广的问题求解框架中。实践中应把这些量用于明确的概率问题，而不是给模型能力增加抽象包装。

资料依据

• Ian Goodfellow、Yoshua Bengio、Aaron Courville：《Deep Learning》在线版，https://www.deeplearningbook.org/
• Stuart Russell、Peter Norvig：《Artificial Intelligence: A Modern Approach》第四版，https://aima.cs.berkeley.edu/