Spark计算环境中的中间数据均衡放置算法研究

上传:newkyo 浏览: 1 推荐: 0 文件:PDF 大小:7.13MB 上传时间:2021-01-03 03:25:47 版权申诉
Spark是基于内存计算的分布式并行计算框架,Spark通过引入RDD数据模型及基于内存的 运算模式,使其能很好地适应大数据的数据挖掘这中场景,并且在迭代计算方面 优于Hadoop,迅速成为了广大企业、学者的研究重点。此外,很多科研单位和企 业开始在海量数据的处理和研究中开始应用Spark。
上传资源
用户评论
相关推荐
论文研究计算环境DPSO资源负载均衡算法.pdf
负载均衡问题是云计算研究的热点问题之一。运用离散粒子群算法对云计算环境下的负载均衡问题进行研究,根据云计算环境下资源需求动态变化,并且对资源节点服务器的要求较低的特点,把各个资源节点当做网络拓扑结构中
PDF
505KB
2020-07-17 00:20
基于云计算环境web数据挖掘算法研究
论文针对web数据挖掘中Graph的算法在云计算环境中进行研究。论文介绍了Web Graph数据结构,搭建了云计算环境,提出社交网站用户Graph数据的获取方案,并使用力导向算法形象描述Graph数据
NH
6.52MB
2021-04-21 15:32
MooseFSchunkserver负载均衡算法研究
作为云存储的核心基础平台,分布式文件系统的重要性日益凸显。分布式文件系统中数据存储在多台计算机节点上,必然会出现负载均衡问题。首先,对MooseFS的系统架构进行了研究,然后分析了MooseFS分布式
PDF
172KB
2020-10-28 03:59
论文研究基于蚁群算法数据副本放置策略.pdf
提出了基于蚁群算法的副本放置策略,充分利用了蚁群算法在目标优化问题中的优势,用OptorSim模拟实验结果表明该算法可以有效地减少作业对文件请求的响应时间,从而提高整个系统的性能。
PDF
0B
2019-09-20 04:12
论文研究计算环境混沌萤火虫资源负载均衡算法.pdf
负载均衡问题是当前云计算研究的重要问题。由于云计算中的负载均衡存在效率低、准确性不高以及资源需求动态变化等问题,建立了云计算环境下的负载均衡模型,通过在发送者策略中引入混沌算法和在接收者策略中引入萤火
PDF
0B
2019-07-30 00:27
Spark框架Graphx算法研究
Spark 框架的Graphx 算法研究 陈虹君 (电子科技大学成都学院,四川成都611731) 摘要:随着搜索引擎对网页的排名的需要,以及社交网络的兴起,海量关系所产生的大数据需要得到处理。图计算在
PDF
0B
2019-01-12 01:37
论文研究使用二次放置算法标准单元放置优化
当前的IC项目中通常使用一个芯片中包含数千万个标准单元的设计,因此为每个逻辑单元在芯片表面上找到最佳位置是IC设计中非常重要的一步。 除了在最小的芯片面积上为逻辑单元放置留出空间外,连接线的长度也起着
PDF
901KB
2020-10-28 07:21
网格计算环境数据挖掘
WileyDataMiningInGridcomputingEnvironments,Jan2009
PDF
0B
2019-07-07 21:03
单载波均衡算法研究
用于单载波MIMO均衡的算法研究报告,主要用于STBC的分集发射和接收
ZIP
0B
2019-05-02 03:39
spark聚类算法数据
spark运行聚类算法的数据集,分为train和test的数据格式,scv格式
CSV
0B
2019-05-06 08:48
基于改进遗传算法计算负载均衡研究
云计算环境具有一定的复杂性和动态性,这种环境极易发生负载失衡的情况。负载均衡技术是云计算环境中关键技术,在云计算环境中,如果多数用户发出请求服务时,如何把大量任务快速、合理分配至单个虚拟资源节点并实施
PDF
723KB
2021-02-01 13:21
深入了解Spark集群计算环境
Spark是一种与Hadoop相似的开源集群计算环境,但是两者之间还存在一些不同之处。本文将深入探讨Spark的内存分布数据集、交互式查询和优化迭代工作负载等优势,以及与Scala的集成方式,让您更全
pdf
1.2MB
2023-03-28 09:39
3G移动环境下自适应均衡算法仿真研究
在3G微小区的传播环境下,对线性自适应均衡算法进行仿真研究,为此构建了与3G接近的实用系列时延扩展的传播环境和可变多径传播信道,建立了系统仿真模型,做出了仿真实验结果并分析了仿真实验结果的意义.
PDF
179KB
2020-09-27 15:54
研究论文3G移动环境下自适应均衡算法仿真研究
研究论文-3G移动环境下自适应均衡算法的仿真研究
PDF
0B
2020-06-21 11:36
计算环境下鱼群算法研究鱼群算法.docx
[云计算环境下鱼群算法的研究]鱼群算法 (1.合肥工业大学管理学院安徽合肥2300092.教育部过程优化与智能决策重点实验室安徽合肥2300093.安徽财贸职业学院电子信息系安徽合肥230601) 摘
DOCX
14KB
2020-12-16 10:40