双倍提升ApacheSpark排序性能

Cloudera和英特尔公司的工程师们正在通力合作,旨在使Sparkshuffle阶段具有更高的可扩展性和稳定性。本文对相关方法的设计进行了详细描述。区别常见的Embarrassingly Parallel系统,类似MapReduce和Apache Spark(Apache Hadoop的下一代数据处理引擎)这样的计算引擎主要区别在于对“all-to-all” 操作的支持上。和许多分布式引擎一样,MapReduce和Spark的操作通常针对的是被分片数据集的子分片,很多操作每次只处理单个数据节点,同时这些操作所涉及到的数据往往都只存在于这个数据片内。all-to-all操作必须将数据集看作一