基于成本的Spark SQL优化器框架
我们把基于成本的优化器框架贡献给社区版本Spark2.2。在我们的框架中,我们计算每个数据库操作符的基数和输出大小。通过可靠的统计和精确的估算,我们能够在这些领域做出好的决定:选择散列连接(hashjoin)操作的正确构建端(buildside),选择正确的连接算法(如broadcasthashjoin与shuffledhashjoin),调整连接的顺序等等。这个基于成本的优化器框架对SparkSQL查询的性能有很好的提升。在这次演讲中,我们将展示SparkSQL的新的基于成本的优化器框架及其对TPC-DS查询的性能影响。
用户评论