论文研究 基于任务进度感知的异构Hadoop云平台任务调度方案.pdf

针对异构Hadoop云计算平台中任务调度问题进行了研究，并分析了现有推测执行调度和LATE调度方案的缺陷，提出一种基于任务进度感知的自适应任务调度方案。首先，根据当前计算节点上的任务进度情况，估计任务近似完成时间（ATE），以此确定掉队者（straggler）任务；然后，以平均节点任务进度的25%为阈值，将节点分为慢节点和快节点。当straggler后备任务达到一定阈值时，将其优先分配到快节点中执行。实验结果表明，提出的方案能够为异构Hadoop平台合理分配任务，有效降低了任务完成时间和响应延迟，同时提高了平台吞吐量。