zc7134

面向大数据处理的基于Spark的异质内存编程框架

随着大数据应用的发展,需要处理的数据量急剧增长,企业为了保证数据的及时处理并快速响应客户,正在广泛部署以Apache Spark为代表的内存计算系统.然而TB级别的内存不但造成了服务器成本的上升,也促进了功耗的增长.由于DRAM的功耗、容量密度受限于工艺瓶颈,无法满足内存计算快速增长的内存需求,因此研发人员将目光逐渐移向了新型的非易失性内存(non-volatile memory,NVM).由DRAM和NVM共同构成的异质内存,具有低成本、低功耗、高容量密度等特点,但由于NVM读写性能较差,如何合理布局数据到异质内存是一个关键的研究问题.系统分析了Spark应用的访存特征,并结合OpenJDK的内存使用特点,提出了一套管理数据在DRAM和NVM之间布局的编程框架.应用开发者通过对本文提供接口的简单调用,便可将数据合理布局在异质内存之中.仅需20%~25%的DRAM和大量的NVM,便可以达到使用等量的DRAM时90%左右的性能.该框架可以通过有效利用异质内存来满足内存计算不断增长的计算规模.同时,"性能/价格"比仅用DRAM时提高了数倍.

PDF

1.93MB

2021-05-11 16:42

大数据云计算环境下的数据安全

大数据云计算将计算任务分布在集成的计算机资源池中,借助科学的算法,用户可以掌握无限的资源,但其安全性却不容乐观,如果大数据云计算环境下的数据安全无法得到保障,相关技术也得不到充分的发展与使用,这对大数据云计算的发展非常不利。从大数据云计算的定义出发,分析大数据云计算机的特点,找出大数据云计算中数据存在的安全隐患,提出针对性解决办法。

PDF

152.89KB

2021-04-26 16:51

基于Hadoop的海量学习资源云存储模型设计研究

由于多媒体技术不断发展,学习资源呈爆炸式增长,给资源存储提出了新的挑战。Hadoop平台对小文件的存储和访问存在内存消耗高、存储空间浪费等问题。针对这种情况,分析学习资源的特点,设计两级Hadoop模式,优化学习资源存储策略,提出基于多层次Hadoop的学习资源云存储模型。并在实验室环境下搭建存储模型,对多类型的学习资源文件进行存储测试分析。分析结果表明,模型在存储空间、内存消耗和存储效率上较传统Hadoop模型有着明显的改善,适合海量学习资源的存储需求。

PDF

297.97KB

2021-04-26 15:08

大数据环境下计算机信息安全技术分析论文

近几年来,随着信息技术的飞速发展,大数据时代已来临,为人们的生活、工作、学习带来便利的同时,信息安全问题也随之而来。原有的信息安全策略及机制已无法满足大数据时代发展要求。因此,本文对大数据时代下的计算机信息安全技术进行综合分析。

PDF

98.77KB

2021-04-24 14:05

数据挖掘在计算机网络病毒防御中的实践

计算机网络病毒种类繁多并且变化迅速,传播扩散速度非常快且传播范围非常广,病毒的针对性和破坏性都极强,严重影响计算机网络安全。为了达到安全上网目的,有必要积极构建计算机网络病毒防御体系,而数据挖掘技术应用在计算机网络病毒防御中是一种有效措施,为提高网络安全提供了创新思路。本文通过介绍数据挖掘技术的基础组成,研究计算机网络病毒防御中数据挖掘技术的实践应用。

PDF

1.56MB

2021-04-23 15:51

简化粒子群优化结合SOM的网络入侵检测方法

针对互联网规模的不断扩大,网络服务更容易向入侵者和攻击者暴露信息,且攻击手段日趋复杂,提出了简化粒子群优化(SPSO)结合自组织映射(SOM)的网络入侵检测方法。根据特征判别力,使用PCA方法进行选择特征,生成非相关性特征过滤数据集噪声和低方差值特征。通过SOM与高斯混合模型(GAMM)混合方法来模拟正常模式与异常模式,测量每个网络单元的激活概率以检测所有高频率攻击的精确值,并运用概率SOM均值对特征空间进行分类,在此过程中,运用简化粒子群优化(SPSO)算法从分类搜索当前解的邻域内找到更优的解。基于KDDCUP99数据集搭建仿真测试平台,实验结果表明,提出的方法对常见的网络攻击表现出了良好的性能,具有更高的入侵检测准确率(ACC)。

PDF

201.12KB

2021-04-23 06:50

基于大数据技术的网络视频处理系统设计

随着互联网技术的发展、互联网带宽的急速增加以及视频处理技术的发展、视频采集设备的小型化和普遍使用,目前网络视频的数量和种类急剧增长。因此,采用当前常规技术对视频进行处理已显得落后,已成为制约我们对海量网络视频进行处理的瓶颈。介绍一种基于大数据技术实现的海量网络视频处理系统,该系统改变传统网络视频集中处理模式,采用当前流行的视频内容识别方法,有效提升网络视频处理的吞吐量和效率,减少人工识别的工作量,满足当前对不断增长的海量网络视频的处理需求。

PDF

1.62MB

2021-04-18 18:16

基于混合网格划分的子空间高维数据聚类算法

提出一种基于混合网格划分的子空间高维数据聚类算法。该算法消除了各个属性分量数值范围大小对计算的影响;有效去除冗余属性以提高聚类准确性与降低时间复杂度。根据数据分布情况灵活选择固定网格划分或是自适应网格划分,利用这二种不同的网格划分方法具有的优点,以实现进一步降低算法的时间复杂度和提高聚类结果的准确性,并使算法具有更优的可伸缩性。实验使用仿真数据表明,该算法在处理具有属性值域范围大的高维大规模数据时是实用有效的。

PDF

240.57KB

2021-04-18 18:12

试论云计算环境下的网络安全技术

当今社会科技发展日益迅速,计算机因其优异的计算与存储性能获得了广泛应用。云计算有着更为灵活强大的信息存储和数据处理能力,这些优势使得它已经在生产实践中得到了大范围应用。但相应的,也对我们的网络安全技术带来了新的挑战。本文重点分析了云计算环境下的常见网络安全问题,并分析了服务器端、客户端和云端之间的网络安全技术。

PDF

1.98MB

2021-04-17 16:33

大数据时代下的林业发展研究

林业产业是一项重要的公益性基础产业,对于我国生态建设以及社会经济发展都具有十分重要的作用。近年来,我国林业发展虽然取得了一定的成绩,但是也遇到了很多问题,例如资源分布不均衡、利用率低,生态体系不健全、生态环境脆弱,产业结构不合理且加工技术落后,林分结构不合理、功能单一,管理模式传统陈旧、效率低下,管理体制不完善等,这些问题对我国林业的发展造成了严重的阻碍。现阶段,信息技术在社会的许多领域都得到了广泛的应用,互联网已经渗透到人们工作生活的各个方面,"数据驱动"已经成为林业发展的必然趋势,通过大数据技术的应用能够实现林业数据资源的高度整合,推动林业管理水平的提升,更好为林业生产、经营、管理服务,促

PDF

125.9KB

2020-11-29 00:53