Spark Streaming运行流程及源码解析(一)

本系列主要描述Spark Streaming的运行流程,然后对每个流程的源码分别进行解析 之前总听同事说Spark源码有多么棒,咱也不知道,就是疯狂点头。今天也来撸一下Spark源码。 对Spark的使用也就是Spark Streaming使用的多一点,所以就拿Spark Streaming开涮。 源码中的一些类 这里先列举一些源码中的类,大家先预热一下。 StreamingContext:这是Spark Streaming程序的入口,提供了运行时上下文环境 DStream:是RDD在Spark Streaming中的实现,是连续的RDD(相同类型)序列,表示连续的数据流 JobSchedu