面向大数据处理的基于Spark的异质内存编程框架
随着大数据应用的发展,需要处理的数据量急剧增长,企业为了保证数据的及时处理并快速响应客户,正在广泛部署以Apache Spark为代表的内存计算系统.然而TB级别的内存不但造成了服务器成本的上升,也促进了功耗的增长.由于DRAM的功耗、容量密度受限于工艺瓶颈,无法满足内存计算快速增长的内存需求,因此研发人员将目光逐渐移向了新型的非易失性内存(non-volatile memory,NVM).由DRAM和NVM共同构成的异质内存,具有低成本、低功耗、高容量密度等特点,但由于NVM读写性能较差,如何合理布局数据到异质内存是一个关键的研究问题.系统分析了Spark应用的访存特征,并结合OpenJDK的内存使用特点,提出了一套管理数据在DRAM和NVM之间布局的编程框架.应用开发者通过对本文提供接口的简单调用,便可将数据合理布局在异质内存之中.仅需20%~25%的DRAM和大量的NVM,便可以达到使用等量的DRAM时90%左右的性能.该框架可以通过有效利用异质内存来满足内存计算不断增长的计算规模.同时,"性能/价格"比仅用DRAM时提高了数倍.
用户评论
相关推荐
内存计算框架Spark实战
spark集群模式，资源调度由自己实现。分布式模式节点，资源调度掌握整个集群的资源。
PDF
0B
2019-07-29 02:11
spark之内存计算框架.pdf
spark是基于内存的分布式计算框架,计算速度是非常之快,它的出现是解决了海量数据计算慢的问题,并且有很多不同的应用场景。
PDF
1.33MB
2020-11-29 04:58
Spark基于内存的下一代大数据分析框架
Spark——基于内存的下一代大数据分析框架
PDF
0B
2019-08-13 22:48
大数据处理与Spark计算框架pptx
spark 基础讲解
PPTX
0B
2019-02-24 17:40
基于Spark的数据处理分析系统的设计与实现
基于Spark的数据处理分析系统的设计与实现随着计算机和信息技术的迅猛发展和普及应用,行业应用系统的规模迅速扩大,行业应用所产生的数据呈爆炸性增长。寻求有效的大数据处理技术、方法和手段已经成为现实世界
PDF
0B
2019-05-05 10:13
面向AWorks框架和接口的编程
周立功亲自开发的AWorks的编程思想，怎么实现软件价值
PDF
0B
2019-05-25 04:32
面向函数的数据处理框架Canal.js.zip
Canal.js 是一款面向函数的数据处理框架,力图在 js 中提供类似于 spark 的编程风格。Common TransformCanal.of([ 4, 0, 3, 5, 2, 4 ]) .fi
JS
45KB
2020-08-04 18:11
基于Spark框架的聚类算法研究
大数据的挖掘是当今的研究热点,也有着巨大的商业价值。新型框架Spark部署在Hadoop平台上,它的机器学习算法几乎可以完全替代传统的MahoutMapReduce的编程模式,但由于Spark的内存模
PDF
0B
2019-07-17 05:58
基于成本的Spark SQL优化器框架
我们把基于成本的优化器框架贡献给社区版本Spark2.2。在我们的框架中，我们计算每个数据库操作符的基数和输出大小。通过可靠的统计和精确的估算，我们能够在这些领域做出好的决定：选择散列连接（hashj
PDF
0B
2019-10-13 10:58
基于Hadoop与Spark的大数据处理平台的构建研究
随着大数据时代的到来，为了更好地利用大数据，有必要构建大数据分析的大数据处理平台。Hadoop 是大数据领域最受欢迎的大数据处理平台。它是一个集分布式计算、存储和管理于一体的生态系统。Hadoop 的
PDF
0B
2019-06-21 09:59
基于面向对象的UI框架体系
基于面向对象的UI框架体系 详细介绍了整个设计的思路和过程
PDF
0B
2018-12-29 17:23
面向AWorks框架和接口的编程.pdf
周立功出版的书的pdf还有其他两本书都可以在周立功官网下载http://www.zlg.cn/index/pub/xsfbshou.html希望这个资源分数为0给其他需要资料的人方便
PDF
0B
2019-05-25 04:32
面向AMetal框架与接口的编程上
面向AMetal框架与接口的编程（上)面向AMetal框架与接口的编程（上)
PDF
0B
2019-06-04 21:18
spark流数据处理SparkStreaming的使用
SparkStreaming是Spark核心API的扩展,用于可伸缩、高吞吐量、可容错地处理在线流数据。Spark Streaming可以从很多数据源获取数据,比如:Kafka、Flume、Twitt
PDF
303KB
2021-02-01 12:59
基于三大框架的小项目
基于三大框架的小项目,struts2,hibernate,spring
RAR
0B
2018-12-20 04:45