地球观测数据立方体按共同维度组织长期序列
说明数据立方体怎样用空间、时间、波段和产品维度组织观测,并处理网格对齐、惰性计算与数据谱系。
地球观测数据立方体按共同维度组织长期序列
地球观测档案由大量场景组成,传统处理先按文件查找,再逐景裁剪、对齐和拼接。数据立方体把观测组织为空间、时间、波段和产品等共同维度,使使用者围绕区域与时间查询,而不是围绕文件名编写流程。
“立方体”描述的是数据和计算模型,不要求所有数据物理存成一个巨大数组。对象文件、数据库和云存储都可作为底层,关键是坐标、网格、索引和质量语义一致。
维度与坐标构成访问契约
常见维度包括 x、y、time 和 band,也可包含平台、极化、观测角或情景。每个维度需要坐标值、顺序、单位和参考系统。时间是采集时刻、合成日期还是有效区间,必须明确。
不同传感器的波段名称相似但响应函数不同,不能只按 red、nir 对齐就视为同一测量。维度标签应链接产品规范和单位,跨传感器运算前完成光谱与辐射一致性评估。
维度过多会产生稀疏组合。系统不必为不存在的观测填满数组,可用目录索引和惰性读取构造逻辑视图。
共同网格降低重复对齐成本
数据立方体常选定 CRS、像元大小、原点和分块,把输入映射到统一网格。这样时间序列可按同一像元访问,减少每次分析重新投影。
统一网格也会固定重采样误差。类别层、反射率和质量层应采用不同重采样方法;源分辨率差异大的数据不能因落到相同网格就被认为具有相同细节。
全球系统可能使用多套网格或分区 CRS,避免单一投影在所有区域产生严重变形。查询层需要清楚处理跨网格边界。
分块连接存储与并行计算
多维数组按块存储,块形状决定一次读取的数据量。空间窗口分析偏好较小空间块,长时间序列可能希望时间方向包含更多切片。没有对所有任务都最佳的块形状。
块太小会增加对象和请求开销,太大则读取大量无关数据。压缩方式还受数值类型、NoData 和波段相关性影响。应根据真实查询和对象存储延迟测量。
并行计算通常以块为任务,但邻域算法需要重叠边缘,时间滤波要跨块读取。调度器应控制内存和并发,避免大量任务同时拉取相同数据。
目录把逻辑坐标连接到物理资产
STAC 等目录可以描述每个观测的空间时间范围、资产链接、波段和质量。数据立方体索引使用这些记录定位实际文件,再按查询加载所需窗口。
目录错误会导致重复、缺失或错误资产。摄取流程要验证 ID、范围、时间、CRS 和文件可读性,并保存目录版本。只要目录更新,逻辑立方体内容就可能变化。
索引不必复制所有文件元数据,但应保留用于筛选和谱系的关键字段。深层产品信息可以沿链接读取,避免两套记录失去同步。
质量维度不能被主值覆盖
云、阴影、雪、饱和和检索质量需要与主数据共同访问。把无效像元直接改成 NoData 会丢失原因,也无法按不同任务调整掩膜。
质量可以作为独立数组或与观测关联的变量。查询 API 应允许同时返回主值和质量,派生计算要把质量传播到输出。
跨时间统计还应记录有效观测数和时间分布。十个集中在旱季的清晰观测,不能代表全年平均。
惰性计算延后读取与执行
用户操作可以先形成计算图,直到请求结果时才读取数据。系统由此合并裁剪、掩膜和运算,减少中间文件。惰性不表示成本消失,复杂图可能在执行时一次暴露巨大资源需求。
执行计划应可检查,包括输入范围、块数、预计读取量和输出大小。对交互查询设置资源上限,防止错误范围扫描多年全球数据。
缓存可复用公共中间结果,但键必须包含数据版本、质量规则和算法参数。缺少谱系的缓存会返回过期成果。
派生产品需要完整谱系
一个月度指数可能来自数十景影像、质量掩膜、合成和统计。输出应记录输入资产 ID、软件版本、参数、时间和空间网格。否则无法在源产品重处理后判断是否需要重算。
谱系可以保存为清单或可查询关系,不必把所有信息塞入文件标签。关键是从输出追溯到输入,并能识别相同处理是否已经完成。
可复现还需要固定外部参考,如地块边界和分类表。只版本化影像不足以重建完整结果。
数据立方体不自动保证分析正确
统一访问会让跨年计算更容易,也可能让使用者忽略传感器更替、算法版本和缺测。平均、趋势和变化仍需检查观测条件与统计假设。
系统应暴露产品版本、平台和质量切片,允许分析者限制同质序列。跨传感器融合应作为显式步骤,而不是在目录中把同名波段自动堆叠。
性能基准也应贴近业务:点位长序列、区域合成、全国年度产品的瓶颈不同。单个演示查询很快,不能证明批量运行稳定。
生命周期包含摄取、更新与撤回
新观测到达后,索引、存储和缓存需要一致更新。上游撤回或重处理时,应标记旧资产状态,触发受影响派生产品检查,而不是直接覆盖文件。
数据保留策略要区分原始资产、标准化副本和可重算缓存。删除前应确认谱系与合规要求,避免为了节省空间破坏重现能力。
地球观测数据立方体把文件档案转为按维度访问的长期数据空间。共同网格、分块、目录、质量和谱系共同成立时,它才能提高分析效率;缺少这些契约,立方体只是在接口上隐藏了文件复杂度。
资料依据
- Committee on Earth Observation Satellites:Analysis Ready Data,https://ceos.org/ard/
- Open Geospatial Consortium:SpatioTemporal Asset Catalog Standard,https://www.ogc.org/standards/stac/