这篇文章主要讲解了“Spark的RDD操作有哪些”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Spark的RDD操作有哪些”吧!
Spark的RDD
在Spark中一切都是以RDD为基础和核心的:
每个RDD的API如下所示:
Spark官方文档中给出了的众多的RDD:
RDD中的操作分为transformations和actions两种:
下面举一个例子来说明RDD的使用:
另外有两个特殊的RDD:
他们都是controlling operations:
RDD在执行的时候都是并行的:
Spark的高容错机制lineage
基于DAG图,lineage是轻量级而高效的:
操作之间相互具备lineage的关系,每个操作只关心其父操作,各个分片的数据之间互不影响,出现错误的时候只要恢复单个Split的特定部分即可:
感谢各位的阅读,以上就是“Spark的RDD操作有哪些”的内容了,经过本文的学习后,相信大家对Spark的RDD操作有哪些这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。