#
dataframe可以实现很多操作，但是存储到本地的时候，只能存 parquest格式需要存储源格式，需要转换为rdd类型将dataframe中的每一行都map成有逗号相连的string，就变为了一个
RDD特性：1.RDD是spark提供的核心抽象，全称：Resillient Distributed Dataset,即弹性分布式数据集。2.RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的
12 数据格式 [[u'3', u'5'], [u'4', u'6'], [u'4', u'5'], [u'4', u'2']] 拆分或截取的原始数据， 可以通过 map 中的 x[0],
本节课内容： 1、基础排序算法实战 2、二次排序算法实战 3、
Spark是分布式内存计算框架，而不是分布式内容存储框架，搭配tachyon分布式内存文件系统，会更加有效果。在文件模式下，spark比hadoop快10倍，在内存计算模式下，快100倍！下面是一些1
本节课主要内容： 1、RDD创建的几种方式 2、RDD创建实战 3、RDD内幕RDD创建有很多种方式，以下几种创建RDD的
本节课通过代码实战演示RDD中最重要的两个算子，join和cogroupjoin算子代码实战：//通过代码演示join算子val conf = new SparkConf
好程序员大数据学习路线分享弹性分布式数据集RDD，RDD定义，RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变
学习spark任何知识点之前，最好先正确理解spark，可以参考：正确理解spark一、序言 对于key-value类型RDD的两个api， r
使用parallelize创建RDD 也 可以使用makeRDD来创建RDD。通过查看源码可以发现，makeRDD执行的时候，也是在调用parallelize函数，二者无区别。通过 .textFile
