地理数据谱系要记录来源、处理步骤与每次转换的责任边界
说明数据源、处理活动、软件参数、质量结果和责任方如何组成可追溯谱系,并支持影响分析与重现。
地理数据谱系要记录来源、处理步骤与每次转换的责任边界
地理数据谱系描述一份数据从哪些来源产生、经历哪些处理、由谁负责以及怎样验证。它回答的不只是“文件从哪里来”,还包括坐标如何转换、几何为何修复、哪些要素被过滤、参数和软件版本是什么。缺少谱系时,错误发现后很难判断哪些下游产品受影响。
谱系中的基本对象
完整谱系至少包含实体、活动和责任方。实体是输入数据、辅助网格、配置、代码和输出产品;活动是采集、转换、融合、分析、抽样或发布;责任方说明谁提供、执行、审核和维护。三者通过稳定标识和时间关系连接。
仅记录最终文件名不足以唯一识别数据。文件可能被覆盖,同名服务图层也会更新。应使用版本号、内容校验和、对象存储版本或不可变 URI。数据库表则需要快照或事务位置,不能只记表名和查询日期。
辅助资源同样影响结果。坐标转换可能使用格网文件,遥感校正依赖大气资料,地址匹配依赖参考库版本。若只登记主输入,重算时仍无法复现原结果。
处理活动要记录什么
活动应保存工具及版本、命令或工作流版本、参数、运行环境、开始结束时间、输入输出标识和执行状态。坐标操作还应记录源目标 CRS、具体操作和使用的格网;栅格处理记录目标网格、重采样和无数据规则;矢量处理记录几何类型变化与修复策略。
日志可以提供细节,但日志不是谱系模型。日志易被轮转,内容偏向运行诊断,也未必使用稳定实体标识。可从工作流自动提取谱系,再把质量报告和日志作为关联证据保存。
人工步骤需要同样记录。例如人工编辑边界、判读云或合并重复地名,应说明输入、规则、操作者、审核者和修改范围。只写“人工修正”无法判断偏差来源。
与元数据和质量的关系
ISO 19115 将谱系作为地理元数据的重要组成,用于说明数据来源和处理历史。ISO 19157 的质量结果可以连接到特定实体和处理阶段。谱系说明“怎样得到”,质量说明“满足什么程度”,二者相关但不能互相替代。
质量检查失败后,谱系可支持影响分析:找出使用同一输入版本、同一错误参数或同一软件版本的所有产品。若关系只存在于人员记忆或文件夹命名中,这种查询无法可靠完成。
发布元数据可以提供面向使用者的摘要,内部谱系保存更细的执行信息。敏感数据路径、账号和内部主机不应原样公开,但必须在受控系统中可审计。公开摘要与内部记录应通过同一产品标识连接。
粒度与存储成本
谱系粒度应匹配风险。逐像元记录所有来源在大规模融合中可能不可承受,而只记整个数据集又无法定位局部问题。可以按分块、分区、场景或批次记录,并为发生特殊处理的对象增加细粒度事件。
工作流重试会生成多个尝试。谱系要区分失败尝试、成功尝试和最终发布版本,不能因为输出路径相同而覆盖历史。幂等重跑也应生成新的运行标识,并说明输入和配置是否完全相同。
谱系记录本身需要保留策略。中间文件可以按成本删除,但其身份、校验和、生成方法和删除时间仍可保留。若输入许可证要求删除或限制传播,谱系还应支持定位副本。
实施与验证
落地可以从高价值数据产品开始,为每个发布物生成机器可读清单。清单包含输入列表、工作流提交版本、容器或软件版本、参数摘要、输出校验和和质量结论。随后把清单汇入可查询的谱系库。
稳定标识比界面更重要。工作流、数据目录和质量平台可以使用不同工具,但应共享产品 ID、版本 ID 和运行 ID。跨系统只传展示名称会导致关系丢失。
验证谱系不能只检查字段非空。应随机选择输出,沿关系回溯到原始来源,再依据记录重跑关键步骤并比较结果。还要反向选择一个已知问题输入,确认所有受影响产品都能被查询出来。
责任边界也应明确。数据提供者负责源数据声明,处理团队负责转换和参数,发布者负责质量门禁与分发。谱系让这些责任可见,但不自动证明每个声明真实;关键节点仍需签名、权限和审核。
可用的地理数据谱系最终应支持三件事:解释当前产品、重现处理结果、在问题发生时定位影响。任何不能稳定连接输入、活动和输出的记录,都只是零散注释。
分支与合并
地理产品经常从同一源数据分出多个比例尺、区域或用途版本,之后又合并更新。谱系不能只形成单向文件列表,还要表达分支、汇合和派生范围。部分区域重算时,应让输出分块指向新的运行,其余分块仍指向原运行,避免把整个产品错误标记为完全重建。
资料依据
- ISO:ISO 19115-1:2014 Geographic information - Metadata,https://www.iso.org/standard/53798.html
- NIST:Research Data Framework,https://nvlpubs.nist.gov/nistpubs/SpecialPublications/1500-18/NIST.SP.1500-18r2.html