对抗鲁棒性检验模型在恶意扰动下的行为

机器学习系统通常在独立同分布的测试数据上评价，但真实对手不会随机提交样本。对手会观察输入限制、输出反馈和业务流程，寻找能够改变结果而又不触发检查的修改。对抗鲁棒性关注的正是这种有目标的环境：攻击者可以选择时机、样本和扰动方向，系统必须在明确威胁模型下说明还能维持哪些性质。

普通噪声、自然分布变化和对抗攻击可能造成相似的性能下降，但形成机制不同。传感器误差没有主动目标，季节变化改变数据生成过程，对抗者则根据系统行为适应防御。把三者混在一个“鲁棒准确率”中，会掩盖应对措施的差异。

威胁模型先限定攻击者能力

评估前要说明攻击者知道什么、能够改什么、需要付出多少成本。白盒攻击者知道模型结构、参数和梯度；黑盒攻击者只能查询接口，或利用相似模型迁移攻击。两种能力对应完全不同的风险，不能只报告最有利的一种。

输入约束必须来自业务语义。图像像素变化很小，不代表打印、拍摄后仍有效；恶意软件修改必须保持程序可执行；文本替换需要保留原意和语法。数学范数只是可计算的近似，不能自动代表人类不可察觉或现实可实施。

攻击目标也要明确。非定向攻击只要求模型出错，定向攻击要求得到指定结果；完整性攻击让恶意对象通过，可用性攻击让大量正常对象被拒绝。不同目标的成功率不能直接比较。

规避攻击通过构造输入改变预测。梯度方法会沿损失上升方向寻找扰动，查询攻击则从返回分数或标签逐步估计边界。即使接口只返回类别，重复查询、置信差异和时序信息仍可能泄露决策边界。

现实系统常包含压缩、裁剪、规则和人工复核。端到端攻击必须穿过完整链路，仅攻击裸模型可能高估或低估风险。预处理有时会破坏某类扰动，也可能产生新的不可导假象；攻击未成功不等于真实鲁棒，只可能是优化没有找到路径。

物理攻击还要经受视角、光照、打印色域和传感器变化。对单张数字图像有效的扰动不能证明可在道路、门禁或遥感场景中复现。评价应把现实转换加入试验，而不是用“物理可行”作为未经验证的标签。

数据投毒发生在采集、标注、筛选或训练阶段。攻击者可以加入错误样本降低整体性能，也可以植入触发模式，使模型只在特定条件下输出目标结果。开放数据征集、用户反馈和自动再训练会扩大这类入口。

训练集很大并不会自动稀释投毒。高杠杆样本、稀有类别和持续反馈通道可能让少量数据产生明显影响。重复数据、异常梯度和来源集中度能提供线索，但攻击样本也可能看起来完全正常。

数据谱系应记录来源、时间、授权、清洗和标签变更。候选训练集需要与可信基线比较，并保留抽样复核与隔离区。发现问题后要能够定位受影响的模型版本；只有最终权重而没有训练清单，无法证明哪些制品需要撤回。

查询接口可能被用于训练替代模型、推断成员是否出现在训练集，或恢复敏感属性。输出概率、解释信息和稳定查询标识都会增加信息量。限制返回精度、速率和批量模式可以提高成本，但也会影响合法使用与可观测性。

访问控制不能替代泄露分析。内部用户、合作方和被盗凭据仍可能发起大量合法格式请求。应按主体、资源和行为监控查询，并把导出、解释和批量评分视为不同权限。

对抗训练把攻击样本加入优化，能够提高特定扰动范围内的表现，却常增加训练成本并影响普通准确率。输入去噪、随机化和检测器也可能对已知攻击有效，但攻击者一旦知道防御，就会把它纳入优化。

梯度遮蔽是常见误判：防御使梯度难算，弱攻击因此失败，看起来很安全；更强的近似、无梯度或迁移攻击仍可突破。评价需要多种攻击、足够迭代、参数敏感性和已知基线，不能选择失败结果作为证明。

认证鲁棒性可在明确范数和半径内给出形式保证，但保证范围通常比业务输入空间窄。它回答的是一个数学邻域内预测是否不变，不回答模型是否正确、公平或能抵抗投毒。

测试集应覆盖普通样本、自然破坏、已知攻击和自适应攻击，并按资产价值和错误类型报告。仅给平均攻击成功率，会掩盖高风险类别或少数关键目标。对无法可靠模拟的攻击，应明确残余风险而不是填写一个乐观分数。

运行时需要输入质量、异常查询、决策分布和人工复核信号。告警只提供调查起点，不能自动断言发生攻击。紧急策略可以限流、提高复核比例、切换保守规则或回退模型，并要事先验证这些动作不会造成更严重的拒绝服务。

对抗鲁棒性不是一次竞赛分数，而是威胁、控制和证据随系统变化持续更新的过程。模型、输入接口、预处理、数据反馈或资产价值变化后，原有测试结论都应重新审查。

Goodfellow、Bengio、Courville：Deep Learning，https://www.deeplearningbook.org/
NIST：Artificial Intelligence Risk Management Framework，https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf