基于Hadoop的海量数据存储平台设计与开发
随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.
用户评论
相关推荐
基于Hadoop的海量数据平台
基于Hadoop的海量数据平台
PDF
0B
2019-01-11 22:47
hadoop平台的海量数据分类应用
hadoop平台的海量数据分类应用
PDF
0B
2019-09-19 22:02
hadoop海量数据处理平台
hadoop海量数据处理平台，大数据时代的到来，海量数据已成为下一步的发展趋势，所以我们要把数据做好，分析好！
DOC
0B
2019-01-11 22:47
基于Hadoop的海量农业数据资源管理平台
基于Hadoop的海量农业数据资源管理平台，Hadoop实现农业信息化的利器！
PDF
0B
2019-06-05 13:39
基于Hadoop的海量电信数据云计算平台研究
基于Hadoop的海量电信数据云计算平台研究，有效完成海量数据的管理和分析任务，提高海量数据分析的速度和效率
PDF
0B
2019-06-05 13:39
基于hadoop的海量图片存储模型的分析和设计
基于hadoop的海量图片存储模型的分析和设计
PDF
0B
2019-06-05 13:39
基于Hadoop的海量学习资源云存储模型设计研究
由于多媒体技术不断发展,学习资源呈爆炸式增长,给资源存储提出了新的挑战。Hadoop平台对小文件的存储和访问存在内存消耗高、存储空间浪费等问题。针对这种情况,分析学习资源的特点,设计两级Hadoop模
PDF
298KB
2021-04-26 15:08
高速海量数据存储的设计与实现
高速海量数据存储的设计与实现,杨晴宇,赵海盟,为了满足当今航空摄影测量面临的大幅面图像数据高速存储的需求,本文介绍了一种用于数字航摄仪的高速海量数据存储系统,系统具有
PDF
546KB
2020-08-19 01:59
存储缓存技术中的基于HADOOP的数据挖掘平台分析与设计
摘要:云计算技术的出现为数据挖掘技术的发展带来了新的机遇。云计算技术通过使存储和计算能力均匀的分布到集群中的多个存储和计算节点上,从而实现了对超大数据集的巨大的存储和计算能力。 HADOOP是一个
PDF
0B
2020-10-28 03:04
基于Hadoop的海量网格数据建模
针对网格实验的实际需要和现有网格仿真工具存在的不足，提出了一种结合Hadoop技术进行海量网格数据建模的方法。利用提出的建模方法，研究人员可以从海量数据中挖掘出实验所需核心数据，并建立这些数据所满足的
PDF
0B
2019-09-09 05:34
大数据与海量存储
介绍了三种基本的网络存储体系结构，并讨论了数据中心的基本概念，以Google数据中心和Hadoop为例，简要介绍了数据中心的相关技术，指出了数据中心的研究热点，最后分析了数据中心与云存储的关系。
PPTX
0B
2019-02-24 12:10
Hadoop平台下的海量数据分析与优化方法研究
本文主要针对基于Hadoop平台的海量数据分析进行研究，提出了一种有效的数据处理和存储优化方法。同时，本文还介绍了Hadoop框架下的并行计算、MapReduce技术等相关知识，并结合实例分析了该方法
CAJ
0B
2018-12-07 06:11
基于hadoop的海量遥感数据处理
海量遥感数据在hadoop平台的处理技术
PDF
0B
2019-05-13 18:22
基于Hadoop的海量数据管理系统
基于Hadoop的海量数据管理系统，是PDF文件。
PDF
0B
2019-01-11 22:47
基于Hadoop的海量日志数据处理
Hadoop-based massive log data processing
PDF
0B
2019-06-26 19:14