马尔可夫决策过程连接状态、动作与长期回报

许多决策不能只看眼前结果。仓储机器人选择路径会影响后续位置，资源调度会改变未来容量，控制系统当前动作可能几步之后才显现代价。马尔可夫决策过程用状态、动作、转移和奖励描述这种连续决策，使“现在怎么做”与“以后会发生什么”进入同一个模型。

它不是某一种学习算法，而是一组问题假设。强化学习、动态规划和部分规划方法都可以在这一框架上讨论，但前提是状态表示和环境边界足够明确。

状态应包含预测未来所需的信息

马尔可夫性要求：给定当前状态和动作后，下一状态的分布不再依赖更早历史。这里的关键不是现实世界没有历史，而是状态已经概括了与未来相关的历史。

若设备剩余寿命取决于累计负荷，只把当前温度作为状态就不够。可以把累计负荷、维护记录或一个估计的健康状态加入表示。遗漏变量会让相同“状态”下出现不一致转移，策略难以稳定。

状态也不能无限扩张。完整保留所有历史虽然包含信息，却造成巨大空间和学习困难。状态设计是在充分性与可计算性之间取舍，并需要通过预测误差和策略表现验证。

现实系统常只能看到观测而非真实状态。传感器噪声、隐藏意图和未知环境使问题成为部分可观测决策过程。此时可以维护对隐藏状态的信念、使用历史窗口或递归表示，但不能假装一次观测已经满足马尔可夫性。

转移与奖励定义了环境反馈

转移模型描述在状态中执行动作后到达各下一状态的概率。确定性系统是概率集中在一个结果的特例。随机性可能来自环境、其他参与者，也可能只是模型没有表示的因素。

奖励给每一步结果赋值，回报则汇总一段时间的奖励。折扣因子常用于降低远期奖励权重并使无限时域求和可控。折扣不是对未来天然“不重要”的科学定律，它是决策模型的一部分，会改变策略偏好。

奖励设计容易产生代理目标问题。若配送系统只奖励速度，策略可能牺牲安全；若内容系统只奖励点击，可能鼓励低质量刺激。约束、安全边界和长期外部影响不应全部寄希望于一个简单标量奖励。

稀疏奖励会让模型很难判断早期动作的作用，过密的塑形奖励又可能改变最优行为。塑形项需要说明是否保持原任务目标，并在未参与设计的场景中测试。

策略决定状态到动作的映射

策略可以在每个状态选择固定动作，也可以给动作分配概率。随机策略有助于探索、应对对手或表达多个等价选择。策略不是单步分类器，因为其动作会改变后续收集到的数据。

状态价值表示从某状态开始并遵循策略的期望回报，动作价值则额外指定当前动作。Bellman 关系把长期价值分解为当前奖励与下一状态价值，为策略评价、价值迭代和许多学习算法提供递推结构。

期望价值会隐藏尾部风险。两个动作平均回报相同，最坏损失可能完全不同。安全关键系统还要考虑约束、风险度量和不可逆状态，而不能只最大化均值。

已知模型与未知模型是两种问题

若转移和奖励已知，可以用动态规划进行策略评价和改进。大规模状态空间仍会产生计算困难，需要近似、分解或采样。

强化学习通常面对未知模型，智能体通过交互估计价值或学习策略。探索能够获得信息，却可能造成真实损失。线上系统不能默认允许任意试错，常需要离线数据、模拟器、保守策略或人工审批。

离线数据只覆盖行为策略曾经访问的状态与动作。对数据支持之外的动作，价值估计可能非常不可靠。模型给出高分不意味着现实证据充分，策略部署前应检查覆盖范围和分布外行为。

环境平稳性决定旧经验是否有效

标准表述常假设转移与奖励不随时间变化，但用户、市场和基础设施会改变。其他学习主体也会响应策略，使环境本身随部署演化。

训练与评估要按时间和场景划分，监控状态分布、动作分布、奖励延迟与约束违规。策略更新会改变数据生成过程，因此新旧策略的比较需要实验设计或可靠的离线评价，而不能直接比较两个时期的原始回报。

模拟环境可以加快迭代，但模拟误差会被策略利用。应验证策略是否依赖不现实的动力学漏洞，并在真实系统中逐级限制范围、设置停止条件。

建模边界比算法名称更重要

一个决策过程还要明确终止条件、时间步长和参与主体。把小时决策改成秒级会改变状态、动作和奖励；把外部运营人员排除在环境外，可能遗漏关键反馈。

马尔可夫决策过程提供了讨论长期后果的精确语言，但不会自动证明状态充分、奖励正确或探索安全。可靠应用从这些假设入手，先确认模型描述了真正的决策边界，再选择求解与学习方法。

模型中的每一项假设都应可被数据和运行观察检验。

资料依据

• Russell、Norvig：Artificial Intelligence: A Modern Approach，https://aima.cs.berkeley.edu/
• Goodfellow、Bengio、Courville：Deep Learning，https://www.deeplearningbook.org/