HPC_DME_APIs:NCI高性能计算数据管理服务通用API 源码

HPC_DME_API NCI高性能计算数据管理服务通用API 高性能计算(HPC)支持要克服的最重大挑战之一是有效的数据管理,即跟踪,注释和分级数字数据集,以及针对这些数据集的数据生命周期策略。 尽管通常不认为这是HPC的挑战或机遇,但仍需要一种有效的解决方案来控制存储数据的成本,同时提高在“大数据”时代创建的数据的科学实用性,因为在“大数据”时代,数据集的分析可能需要几天的时间和总成本存储和维护大型数据集将继续增加人员和财务资源的负担。 如果没有可靠的托管数据集解决方案,大型数据集通常会以隔离的方式在物理存储中以多个副本维护,从而导致不必要的开销,因为需要额外的存储来分析和存储新数据。 托管,安全且高可用性的解决方案将最大限度地减少维护这些数据集不必要的冗余副本的需求。 即使预计物理存储成本会下降,但在没有关联注释的情况下管理存储数据的投资也只能提供(最少)长期的科学实用性或支持,