GeoXMind

策略梯度直接优化参数化策略的期望回报

从轨迹概率、优势估计和基线理解策略梯度，并说明 actor-critic 如何在偏差、方差和稳定性之间取舍。

策略梯度直接优化参数化策略的期望回报

价值方法先估计动作好坏，再从价值中选动作。策略梯度走另一条路径：用可微参数直接表示策略，令动作概率随参数变化，并沿着期望回报增加的方向更新。这样可以自然表达随机策略和连续动作，却把轨迹采样噪声带进了优化过程。

“直接优化”不等于直接知道梯度。环境转移通常不可微或未知，算法依靠采样轨迹估计策略参数对回报的影响。估计是否无偏、方差多大、数据来自哪个策略，决定了更新是否可信。

轨迹概率把动作选择连接到回报

一条轨迹包含状态、动作、奖励和转移。环境动力学决定状态如何变化，策略决定动作概率。对策略参数求导时，未知的环境概率可以留在期望中，策略概率的对数导数把整条轨迹的影响分解到各次动作选择。

由此得到的更新直觉是：产生较高回报的动作序列，其已选动作概率应增加；低回报轨迹中的动作概率应减小。但一条轨迹的总回报混合了许多时刻的影响，不能证明某个动作单独造成结果，这就是信用分配困难。

若所有动作都乘完整情节回报，早期和晚期动作承担同样信号，方差很大。按“奖励发生前的动作不能由该奖励解释”的因果边界使用从当前时刻开始的回报，可以去掉无关噪声，但仍会受后续随机转移影响。

基线降低方差但不能随意依赖动作

从回报中减去只依赖状态的基线，不改变策略梯度的期望，却能显著降低方差。常用基线是状态价值，剩余量近似优势：当前动作比该状态下通常行为好多少。

基线若系统性依赖所选动作而没有相应修正，可能改变梯度方向。价值网络也不是越准确越好这一件事：它的训练目标、更新速度和共享表示会影响 actor 的数据分布，二者必须分别监控。

对优势做批内标准化可以改善数值尺度，但会让更新依赖批次组成。奖励缩放、截断和归一化同样会改变有效目标。实验报告需要说明这些处理，不能只给“使用策略梯度”的算法名称。

Actor-critic 分开表示行动与评价

actor 产生动作分布，critic 估计价值或优势，为 actor 提供方向。critic 可以用时序差分自举，避免每次等待完整情节；代价是引入估计偏差。actor 的策略变化又会改变 critic 面对的数据，形成相互追逐的非平稳训练。

critic 更新过慢，actor 会依据过时评价前进；critic 过拟合或更新过快，也可能让优势信号剧烈变化。常见实现采用不同学习率、目标网络、多步回报或广义优势估计，但这些都是偏差—方差与时间尺度的工程选择。

共享编码器节省计算并可能促进表示学习，也会让策略损失和价值损失争夺特征。若两个梯度方向冲突，单看总损失无法判断哪个目标受损，应分别记录策略熵、价值误差、优势分布和回报。

探索由策略分布承担

随机策略可通过输出离散动作概率或连续分布参数进行探索。训练常加入熵奖励，阻止策略过早坍缩为近确定动作。熵系数太高会长期随机，太低则可能在证据不足时失去探索。

连续动作的分布还要尊重物理边界。简单裁剪会把多个原始动作压到同一边界值，使概率密度和实际执行不一致；可采用有界变换，并在计算对数概率时包含雅可比修正。执行器限幅、延迟和安全控制也必须进入环境模型或评价。

多峰行动问题不一定适合单一高斯策略。均值动作看似平滑，却可能落在两个可行动作之间的危险区域。策略分布的形状是建模假设，不能被实现便利替代。

在策略数据最直接，复用历史数据更困难

经典策略梯度通常要求轨迹由当前或接近当前的策略产生。更新一次后，旧数据与新策略分布偏离，直接反复训练会产生偏差。重要性比率可以修正，但长轨迹概率比容易爆炸或消失。

一些算法限制新旧策略差异，裁剪概率比或约束某种散度，以提高样本复用和更新稳定性。这些限制是近似信赖域，不代表每次参数更新都能提高真实环境回报，尤其在优势估计有误和批次较小时。

离线数据上的策略优化风险更高。策略会倾向 critic 误判为高价值、但数据中很少出现的动作。此时需要行为约束、保守价值估计和独立离线评价，不能把普通在策略算法直接套到日志上。

局部优化与安全约束必须明确

策略梯度定理给出在特定目标和分布下的梯度表达，不承诺非凸参数化达到全局最优。不同随机种子、初始化和探索轨迹可能收敛到不同策略，均值之外还要报告分布和失败率。

高回报也不等于安全。成本约束、禁止动作、资源预算和人工审批不能只靠负奖励“希望模型学会”。硬约束应由动作过滤、控制屏障或外部策略执行层落实，并单独评价约束违反概率。

部署前应在不同初始条件、扰动、延迟和边界状态下测试，记录策略版本、环境版本、奖励和随机种子。actor-critic 是组织估计与行动的框架，不是稳定性的保证；其可信度来自对数据分布、估计误差和执行边界的持续验证。

资料依据