离线强化学习只能从固定行为数据中改进策略

离线强化学习在训练期间不再与环境交互，只使用已经收集的状态、动作、奖励和后继状态。它适合在线试错昂贵、危险或受监管的场景，也带来根本限制：学习器不能主动验证新动作的后果，数据没有覆盖的区域无法靠想象补齐。

固定日志不是一个可以随时重置的模拟器。每条记录来自当时的行为策略、人员流程、设备状态和选择偏差。若不理解这些生成条件，算法可能把历史制度的结果误当成动作本身的效果。

行为数据决定可学习的策略边界

行为策略是产生数据的决策机制。它可能是旧模型、人工规则、专家判断或多套系统的混合。离线数据若只记录最终动作而不记录当时可选动作、策略版本和决策上下文，就难以判断哪些状态被系统性忽略。

覆盖度描述数据是否包含目标策略可能访问的状态和动作。某动作从未在某类状态下出现，不表示它不好，只表示没有直接证据；相反，极少出现但偶然高回报的动作也不能据此认定优秀。

日志还受到选择性标签影响。例如只有获批对象才有后续结果，被拒绝对象的反事实结果不可见。将可见结果直接推广到所有对象，会把审批机制引入模型。需要明确缺失机制和因果假设，而不只是扩大样本量。

函数逼近器会为未见过的状态—动作组合输出数值。在线学习可以尝试这些动作并纠正估计，离线学习没有这个机会。策略优化又倾向选择估值最高的动作，于是会主动寻找模型最乐观的误差。

这种外推误差经过 Bellman 自举向前传播，可能让一个缺乏证据的动作获得越来越高的估值。训练损失仍然可能很低，因为损失只在数据分布内计算。因而离线 RL 的关键不是把监督学习做得更久，而是控制策略偏离证据范围。

动作空间越大、状态表示越稀疏，覆盖问题越严重。连续控制中几乎不可能重复完全相同的动作，必须依赖局部平滑假设；高维表征若把相似状态分得过远，也会降低有效覆盖。

一类方法约束新策略接近行为策略，只在有充分数据的动作附近改进。约束太紧时只能复制历史行为，太松时又回到分布外风险。距离度量必须与行动语义匹配，概率差异小不代表物理后果接近。

另一类方法降低分布外动作的价值，或让训练目标对数据外高值保持保守。保守估计能减少灾难性乐观，却可能低估真实可行的新动作。它不是免费的安全保证，而是在改进幅度和证据强度之间作选择。

基于模型的方法学习环境转移，再在模型中规划。模型同样只在数据覆盖区域可靠，长滚动会累积误差。对不确定区域缩短规划、惩罚模型不确定性或混合真实片段，可以限制误差，但不能创造缺失的反事实事实。

行为克隆把日志视为监督学习，预测历史动作。它不直接优化长期回报，却避免了价值自举和分布外最大化。在高质量专家数据、覆盖有限或奖励噪声较大时，简单克隆可能比复杂离线 RL 更稳定。

比较方法时，应把行为克隆、规则策略和不采取改进的旧策略作为基线。若新策略只在训练估值上更好，却无法在独立评估中超过行为策略，就没有部署依据。

数据包含多种质量的行为时，可按回报加权或条件化策略，但回报可能受环境难度影响。高回报轨迹不一定代表高质量决策，简单筛掉低回报样本会丢失失败恢复和困难状态的重要证据。

直接在线 A/B 测试常常不可行，因此需要离线策略评价。重要性采样利用目标策略与行为策略的概率比重加权历史回报，理论上可校正策略差异，但长序列比率方差很高，而且日志必须保存行为概率。

基于模型或价值函数的评价方差较低，却依赖模型正确。双重稳健方法组合两类估计，仍要求至少一部分假设成立。不同评价器给出冲突结论时，应把冲突视为不确定性信号，而不是挑选最有利结果。

时间切分、主体切分和环境切分比随机拆分更能检验部署外推。还要评价支持度：目标策略选择的动作在验证日志中是否常见。没有支持度的高估值应触发拒绝或人工检查。

离线训练减少了训练期试错，不消除上线风险。可以先进行影子运行，记录新策略建议而不执行；再限制动作范围、对象范围和最大变化幅度，并保留旧策略回退。高风险动作需要独立安全规则或人工审批。

监控不仅看奖励，还要看状态分布、动作支持度、策略与行为基线距离、约束违反和评价器分歧。上线后的新数据改变了行为策略，应带版本回流，不能与旧日志无标识混合。

数据卡应记录采集策略、时间、设备、奖励延迟、缺失结果和已知禁用场景。离线强化学习的承诺是从固定经验中做受证据约束的改进，不是绕过实验。策略能偏离历史多远，最终由数据覆盖、评价可信度和风险承受能力共同决定。

Sergey Levine、Aviral Kumar、George Tucker、Justin Fu：Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems，https://arxiv.org/abs/2005.01643
Richard S. Sutton、Andrew G. Barto：Reinforcement Learning: An Introduction, Second Edition，https://mitpress.mit.edu/9780262039246/reinforcement-learning/