论文研究 基于任务进度感知的异构Hadoop云平台任务调度方案.pdf
针对异构Hadoop云计算平台中任务调度问题进行了研究,并分析了现有推测执行调度和LATE调度方案的缺陷,提出一种基于任务进度感知的自适应任务调度方案。首先,根据当前计算节点上的任务进度情况,估计任务近似完成时间(ATE),以此确定掉队者(straggler)任务;然后,以平均节点任务进度的25%为阈值,将节点分为慢节点和快节点。当straggler后备任务达到一定阈值时,将其优先分配到快节点中执行。实验结果表明,提出的方案能够为异构Hadoop平台合理分配任务,有效降低了任务完成时间和响应延迟,同时提高了平台吞吐量。
用户评论