Spark Streaming运行机制是怎样的

这篇文章主要讲解了“Spark Streaming运行机制是怎样的”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Spark Streaming运行机制是怎样的”吧！

一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。

　　Spark Streaming运行时与其说是Spark Core上的一个流式处理框架，不如说是Spark Core上的一个最复杂的应用程序。如果可以掌握Spark streaming这个复杂的应用程序，那么其他的再复杂的应用程序都不在话下了。这里选择Spark Streaming作为版本定制的切入点也是大势所趋。

对于Spark Streaming来说，当不同的数据来源的数据流进来的时候，基于固定的时间间隔，会形成一系列固定不变的数据集或event集合（例如来自flume和kafka）。而这正好与RDD基于固定的数据集不谋而合，事实上，由DStream基于固定的时间间隔行程的RDD Graph正是基于某一个batch的数据集的。

　　从上图中可以看出，在每一个batch上，空间维度的RDD依赖关系都是一样的，不同的是这个五个batch流入的数据规模和内容不一样，所以说生成的是不同的RDD依赖关系的实例，所以说RDD的Graph脱胎于DStream的Graph，也就是说DStream就是RDD的模版，不同的时间间隔，生成不同的RDD Graph实例。

　　从Spark Streaming本身出发：

　　1.需要RDD DAG的生成模版：DStream Graph

　　2需要基于Timeline的job控制器

　　3需要inputStreamings和outputStreamings，代表数据的输入和输出

　　4具体的job运行在Spark Cluster之上，由于streaming不管集群是否可以消化掉，此时系统容错就至关重要

　　5事务处理，我们希望流进来的数据一定会被处理，而且只处理一次。在处理出现崩溃的情况下如何保证Exactly once的事务语意。

　　从源码解读DStream

从这里可以看出，DStream就是Spark Streaming的核心，就想Spark Core的核心是RDD，它也有dependency和compute。更为关键的是下面的代码：

这是一个HashMap，以时间为key，以RDD为value，这也正应证了随着时间流逝，不断的生成RDD，产生依赖关系的job，并通过jobScheduler在集群上运行。再次验证了DStream就是RDD的模版。

　　DStream可以说是逻辑级别的，RDD就是物理级别的，DStream所表达的最终都是通过RDD的转化实现的。前者是更高级别的抽象，后者是底层的实现。DStream实际上就是在时间维度上对RDD集合的封装，DStream与RDD的关系就是随着时间流逝不断的产生RDD，对DStream的操作就是在固定时间上操作RDD。

感谢各位的阅读，以上就是“Spark Streaming运行机制是怎样的”的内容了，经过本文的学习后，相信大家对Spark Streaming运行机制是怎样的这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！