探索与利用在获取信息和取得回报之间权衡

序贯决策中，利用选择当前看起来最好的动作，探索尝试不确定动作以获得信息。只利用可能长期停留在次优选择，只探索则持续付出试验成本。这个权衡出现在推荐、调度、临床试验和控制中，但不同场景能承受的探索风险完全不同。

多臂老虎机隔离了核心矛盾

多臂老虎机把每个动作看作回报分布，选择后只观察被选动作结果。目标是在多轮中取得高回报，同时学习哪些动作更好。

遗憾量衡量策略相对总选最优动作损失的回报。现实中最优动作未知，所以遗憾是理论和离线分析概念，线上仍需可观察业务指标。

简单贪心始终选择当前均值最高动作，早期偶然结果可能让它永久忽略真正优选项。随机探索保留试验机会，但固定比例在模型已较确定后仍浪费流量。

置信上界方法把估计回报与不确定性奖励相加，样本少的动作获得探索机会。随着证据增加，置信区间收窄，策略逐步倾向利用。

概率采样方法按各动作成为最优的后验概率选择，能够自然平衡证据与不确定性，但结果依赖先验和回报模型。

不确定性必须可信。模型分数波动不等于认识不确定性，训练数据外的动作可能获得错误自信。应通过校准和模拟验证探索规则。

上下文老虎机根据用户、环境或时间特征选择动作。总体次优选项可能对某群体最好，因此策略学习的是条件回报。

高维上下文增加过拟合和偏差风险。用户身份、地区和设备还涉及公平与隐私，不能为提高点击无限采集特征。

日志策略决定历史数据覆盖。某动作几乎从未展示时，离线数据无法可靠估计它。逆倾向加权等方法需要已知选择概率，并会在概率很小时产生高方差。

回报会随季节、产品和用户变化。早期大量数据可能压制近期信号，滑动窗口或衰减权重能提高适应速度，却降低稳定性。

变化检测后重置统计可能迅速适配，也可能把正常噪声当成结构变化。策略版本和环境事件要一起记录。

动作还会改变用户状态，超出老虎机独立轮次假设。长期留存与短期点击冲突时，需要完整序贯模型或明确约束。

在广告中试验次优素材成本可量化，在医疗、安全和金融中随机尝试可能不可接受。探索空间应先排除违法、危险和不可逆动作。

安全基线可以规定最小性能、最大损失和回退动作。新策略先离线评估、模拟、影子运行，再从小流量逐级扩大。

实验应设置停止条件和人工值守。平均收益正常时，某个群体仍可能受损，因此要监控分组指标与尾部事件。

用户也应知道何时参与试验并获得适当保护。技术上可执行的随机化不自动满足伦理与合规要求。

策略只会探索被奖励的结果。用点击作奖励可能推动夸张内容，用处理量作奖励可能牺牲质量。延迟结果和负面外部性需要进入评价。

多个目标可以用约束、分层决策或明确权重处理。把所有目标压成一个未经审查的标量，会让策略寻找规则漏洞。

奖励观测还可能被缺失和作弊污染。应保留原始事件、归因窗口和反作弊规则，防止模型学习数据管道缺陷。

反事实评价利用历史日志估计新策略，但只在历史策略覆盖的动作范围内可靠。权重极端、回报延迟和未记录混杂都会增加误差。

应报告估计值、方差、有效样本量和支持范围。离线排名接近时，不应宣称细小差异确定成立。

线上试验仍需随机化、样本量和多重检验控制。自适应策略不断改变分配，普通固定实验统计不能直接套用。

转化、续费和故障等回报可能在决策后很久才出现。若系统只保存即时点击，会系统性偏向短期动作。日志至少需要策略版本、候选动作、实际动作、选择概率、上下文时间和回报归因窗口，才能在结果成熟后重建当时决策。

同一用户的多次动作并不独立，推荐还会改变之后可见的内容。简单把最终回报归给最后一次展示会扭曲学习。归因规则必须先于实验确定，并用不同窗口做敏感性分析；无法可靠归因的目标不宜直接驱动在线探索。

探索流量应有独立配额，不能因总体流量增长而无意扩大风险。动作白名单、频率限制、群体保护线和累计损失上限应在策略之外执行，使模型即使输出异常也不能越过硬边界。

发布记录要支持按策略版本回放，回退时同时恢复动作集合、奖励定义和特征版本。只回退模型文件却保留新的候选动作或埋点，会得到不可比较的系统。紧急停止后还要保存未成熟回报，避免事故数据从后续评价中消失。

探索与利用本质上是在当前回报和未来信息之间分配风险。有效策略不仅需要算法，还需要可信不确定性、明确奖励、安全边界和可停止的运行机制。

Russell、Norvig：Artificial Intelligence: A Modern Approach，https://aima.cs.berkeley.edu/
NIST：Artificial Intelligence Risk Management Framework，https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf