论文研究 异构环境下自适应reduce任务调度算法的研究.pdf

异构环境下的Hadoop平台对reduce任务的调度存在随机性,在分配任务时既没有考虑数据本地性,也没有考虑计算节点对当前任务的计算能力。针对以上问题,提出一种异构环境下自适应reduce任务调度算法(SARS)。算法根据reduce任务的输入数据分布选择所含数据量最大的机架,在选择计算节点的过程中,结合节点所含任务的数据量、节点的计算能力和当前节点的忙碌状态来选出任务的执行节点。实验结果表明,SARS算法减少了reduce任务执行时的网络开销,同时也减少了reduce任务的执行时间。