价值函数与 Bellman 方程把长期回报写成递归关系

强化学习中的一次动作可能不会立刻显出好坏。它会改变后续状态，影响未来还能采取什么动作，也改变之后获得奖励的机会。价值函数把这些延迟影响汇总为一个条件期望：从某个状态或状态—动作对出发，继续按指定策略行动，未来累计回报大致有多大。

价值不是状态自带的静态属性。它取决于奖励定义、折扣方式、环境转移和后续策略。同一个棋盘位置在两种策略下可以有完全不同的价值；同一套策略换了安全代价或时间偏好，价值也会变化。

回报连接当前动作与未来结果

回报通常写成从当前时刻开始的一串奖励之和。持续任务常给远期奖励乘折扣因子，使较近结果权重更高，并在有界奖励下让无穷和可处理。折扣也可表达任务终止的不确定性，但不能不加说明地解释为人的时间偏好。

折扣因子接近零时，决策更看重眼前奖励；接近一时，远期影响保留得更多。它同时改变数值尺度、学习难度和策略行为。比较实验若使用不同折扣因子，价值数值和策略目标并不相同。

情节任务在终止状态停止累积，持续任务没有天然终点。两者对回报、初始状态分布和平均性能的定义不同。把有限情节的公式直接用于长期运行系统，可能掩盖终止概率、重置机制和稳态行为。

状态价值 $V^\pi(s)$ 表示处于状态 $s$ 后遵循策略 $\pi$ 的期望回报。动作价值 $Q^\pi(s,a)$ 还固定了当前动作 $a$ ，随后再按策略行动。前者便于评价一个状态，后者可以比较动作并导出改进策略。

期望中的随机性可能来自策略采样、环境转移、奖励噪声和初始条件。价值函数不是单次轨迹的确定结果。高价值动作仍可能产生坏结果，低价值动作也可能偶然成功；风险敏感任务还需要方差、尾部损失或约束指标，不能只看均值。

优势函数比较某动作与该状态下平均行为的差异。它把状态本身普遍容易或困难的部分消去，常用于策略梯度和诊断。但优势仍依赖基线价值的准确性，估计偏差会传到策略更新。

价值可以分解为当前一步奖励与下一状态价值的折扣和。对固定策略，这形成 Bellman 期望方程；对最优价值，则在可选动作中取最大期望，形成 Bellman 最优方程。递归关系说明长期问题能够通过一步转移反复传播信息。

方程描述的是一致性条件，并不自动给出可行算法。若状态和动作有限且转移模型已知，可以通过动态规划迭代求解；模型未知时，需要从样本估计期望；状态巨大或连续时，还要用函数逼近表示价值。

“自举”更新用当前价值估计构造新的学习目标，例如把观测奖励加上下一状态估计。它提高了数据利用效率，也让误差能够沿时间传播。目标本身在训练中变化，函数逼近、离策略采样与自举结合时尤其容易不稳定。

策略评价是在策略固定时估计其价值。策略改进依据价值让高价值动作获得更大概率。经典策略迭代在评价与改进之间交替，价值迭代则把两者压缩进最优 Bellman 更新。

贪心改进假定当前价值足够可信。早期估计噪声大时，始终选择当前最大值会放大偶然高估，因此实际算法保留探索、使用目标网络或采用双重估计等机制。不同机制处理的是估计风险，不改变最优方程本身。

最优价值也只相对于给定状态、动作、奖励和环境模型而言。若状态遗漏关键历史，马尔可夫假设不成立；若动作集合排除了必要操作，方程求得的是受限最优；奖励若与真实目标错位，数学上的最优策略也可能不可接受。

蒙特卡洛方法等到情节结束，用实际回报更新价值，目标偏差较小但方差可能很高，也不适合没有清晰终止的任务。时序差分方法用一步或多步自举，可以在线更新，但目标受当前估计影响。

多步回报在两端之间取舍。步数短时自举较强，步数长时更接近完整轨迹；资格迹用衰减权重组合多种步长。不存在脱离任务的固定最优步数，奖励稀疏性、轨迹长度和函数逼近能力都会影响选择。

离策略学习使用一种行为策略产生的数据，评价另一种目标策略。重要性采样可以校正分布差异，却可能产生极高方差；覆盖不足时，某些目标动作根本没有可靠证据。价值公式成立不表示有限数据足以估计它。

表格方法为每个状态单独存值，更新影响局部。线性模型或神经网络共享参数，一条经验会同时改变许多状态的预测，能够泛化，也会造成相互干扰。训练损失较低不保证满足所有状态的 Bellman 关系。

评价应同时检查回报、价值校准、Bellman 残差和跨种子稳定性。只在训练轨迹上计算残差会遗漏分布外状态；只看最终回报又难以定位是价值估计、探索还是策略执行出了问题。

工程记录至少应保存奖励版本、折扣因子、终止规则、数据策略、价值网络与目标构造。价值函数是对未来的条件估计，不是现实世界的分数表。把它放回产生它的策略和数据条件中，Bellman 方程才是可验证的决策工具。

Richard S. Sutton、Andrew G. Barto：Reinforcement Learning: An Introduction, Second Edition，https://mitpress.mit.edu/9780262039246/reinforcement-learning/
Stuart Russell、Peter Norvig：Artificial Intelligence: A Modern Approach, Fourth Edition，https://aima.cs.berkeley.edu/