这篇文章主要介绍“Spark与Spark-Streaming关系是什么”，在日常操作中，相信很多人在Spark与Spark-Streaming关系是什么问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Spark与Spark-Streaming关系是什么”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！
spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，spark streaming是将持续不断输入的数据流转换成多个batch分片，使用一批spark应用实例进行处理，侧重点在Steaming上面。我们常说的Spark-Streaming依赖了Spark Core的意思就是，实际计算的核心框架还是spark。我们还是上一张老生常谈的官方图：
从原理上看，我们将spark-streaming转变为传统的spark需要什么?
需要构建4个东西：
一个静态的 RDD DAG 的模板，来表示处理逻辑;
一个动态的工作控制器，将连续的 streaming data 切分数据片段，并按照模板复制出新的 RDD
DAG 的实例，对数据片段进行处理;
Receiver进行原始数据的产生和导入;Receiver将接收到的数据合并为数据块并存到内存或硬盘中，供后续batch RDD进行消费;对长时运行任务的保障，包括输入数据的失效后的重构，处理任务的失败后的重调。
到此，关于“Spark与Spark-Streaming关系是什么”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注亿速云网站，小编会继续努力为大家带来更多实用的文章！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
