实验可复现依赖数据、代码、配置与运行环境的完整谱系

机器学习实验的结果不是由一份代码单独产生的。数据快照、划分规则、预处理、依赖版本、随机状态、硬件和执行顺序都可能改变最终指标。只在笔记中写“模型 A 比模型 B 高两个点”，几周后往往无法回答这两个结果是否使用了同一评价集。

实验谱系把一次运行看成输入、过程和产物之间的关系。它既支持别人重新运行，也支持团队解释为什么两个看似相同的运行产生差异，并在生产问题发生时追到训练证据。

可重复与可复现要先约定含义

不同领域对 repeatability、replicability 和 reproducibility 的用词并不完全一致。项目应在文档中固定自己的定义，例如把“同一代码与数据再次运行”称为重复，把“独立实现验证同一结论”称为复现。名称不是重点，重点是明确需要共享哪些材料、允许哪些变化。

位级一致通常不是所有实验的现实目标。并行计算、GPU 内核和浮点累加顺序可能造成细小差异，随机优化还会放大这些差异。更实用的标准是预先定义容差、统计分布和结论稳定性，并说明哪些算子已知非确定。

固定随机种子只能控制部分随机源。数据加载进程、增强库、模型初始化、超参数搜索器和底层硬件可能各有状态。种子必须和框架版本、确定性选项以及仍无法控制的来源一起记录。

数据身份不能只靠文件名

训练运行应引用不可变数据版本或内容摘要，并保存获取时间、许可和上游标识。train.csv 这样的路径会被覆盖，无法证明后来读取的是同一批记录。大数据不一定复制到每个运行目录，但必须能通过版本化存储或快照重新定位。

划分规则和划分结果同样重要。只记录“80/20 随机划分”不足以重建集合，需要保存主体级隔离规则、时间边界、分层字段、随机状态和最终样本标识。若同一人、地点或事件跨集合出现，复现一个高分并不能修正评价泄漏。

清洗、去重、特征生成和标签修订应形成可执行管线。中间产物要知道来自哪些输入和参数，手工修改则需要变更记录。Datasheets for Datasets 所倡导的动机、组成、采集、处理和维护信息，为理解数据版本为何变化提供了人可读背景。

代码与配置必须形成同一个运行快照

代码至少关联到提交标识，同时记录工作区是否有未提交改动。仅保存提交号却在脏工作区运行，仍然不能重建。训练入口、配置文件、命令参数和环境变量要在脱敏后归档，密钥本身不能进入实验记录。

超参数应保存实际解析后的值，而不只是默认配置文件。配置继承、命令行覆盖和自动搜索会让最终值偏离源文件。学习率调度、早停、数据增强概率和评价阈值都可能决定结果，应与模型权重一起形成产物清单。

依赖环境可以通过锁文件、容器镜像摘要、系统库和驱动版本描述。镜像标签如 latest 会漂移，必须保存不可变 digest。硬件型号、加速器数量和分布式策略也值得记录，因为它们会影响批量大小、数值路径和训练时长。

运行记录要连接指标与原始产物

每次运行需要唯一标识、开始与结束时间、执行者或服务身份、父运行和状态。指标应保存步数、数据切片和计算版本；只保留最终最优值，会隐藏过拟合、失败重启和选择偏差。

模型权重、优化器状态、日志、评价预测和图表都应作为有摘要的产物登记。图表不是原始证据，最好能追到生成它的数据表和代码。若产物因容量策略被删除，记录仍要标明删除时间和保留依据，不能留下一个失效链接而假装可复现。

超参数搜索尤其需要完整记录。报告最好结果时，应知道尝试了多少组合、使用哪份验证集选择，以及测试集是否只在最后使用一次。反复观察测试结果再调整模型，会让测试集变成隐含训练信号。

谱系帮助定位差异而不是掩盖差异

两个运行结果不同时，可以沿谱系依次比较数据摘要、样本划分、代码、配置、依赖、硬件和随机状态。自动生成差异报告比人工翻日志可靠，也能发现“只改了文档”的提交实际改变了预处理资源。

重跑得到相同数字并不证明研究结论正确。数据偏差、指标选择和错误实现也可以稳定复现。可复现性提供审查入口，仍需独立验证、基线比较、误差分析和领域判断。

反过来，结果略有波动也不一定否定结论。应运行多个种子并报告均值、离散程度和最差情形，观察改进是否大于自然波动。只挑最好的种子会把随机幸运包装成方法优势。

从研究运行延伸到生产模型

被批准上线的模型应能追到候选实验、评价报告和审批记录，再从实验追到数据与代码。生产监测发现某类错误后，才能定位相关训练切片，创建修正数据，并证明新版本到底改变了什么。

NIST Research Data Framework 强调持久标识、版本、来源和生命周期管理。应用到机器学习时，谱系不必把所有文件永久保存，但要按风险制定保留层级：关键发布产物长期保存，探索运行可压缩或到期删除，删除决定本身仍可审计。

访问权限也属于谱系治理。实验记录可能包含敏感样本路径、特征统计和内部模型。系统应区分元数据可见范围与原始数据访问权，并记录导出和分享。为了复现而无限复制敏感数据，会引入新的风险。

可靠的实验记录最终应回答四件事：运行使用了什么，执行了什么，产生了什么，为什么选择这个结果。答案能够由标识和证据连接起来，模型开发才从个人操作变成可维护的工程过程。

资料依据

• National Institute of Standards and Technology：NIST Research Data Framework Version 2.0，https://nvlpubs.nist.gov/nistpubs/SpecialPublications/1500-18/NIST.SP.1500-18r2.html
• Timnit Gebru 等：Datasheets for Datasets，https://arxiv.org/abs/1803.09010