今天就跟大家聊聊有关spark01--scala 的wordcount的过程是怎样的，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。
第一版：原始版本
计算
安全
数据库
网络和加速
企业服务
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
conf.setAppName("workcount")
conf.setMaster("local")
//SparkContext 是通往spark 集群的唯一通道
val sc = new SparkContext(conf)
/** 加载配置当前项目下words文件的内容
* 内容为：
hello java
hello spark
hello hdfs
hello mr
hello java
hello spark
*/
val lines = sc.textFile("./words")
//line为每一行，每一行经过" "空格切分成RRD类型
val lists: RDD[String] = lines.flatMap(line => {line.split(" ")})
//单词转换成二元元组
val values: RDD[(String, Int)] = lists.map(word=>{new Tuple2(word,1)})
/**
* reduceByKey 函数是先把相同的单词(key)进行分组，如
hello 1
hello 1
hello 1
hello 1
hello 1
hello 1
java 1
java 1
spark 1
spark 1
hdfs 1
mr 1
(v1:Int, v2:Int)=>{v1+v2} 表示经过分组后的单词元组(Sring,Int)，相同key的 value进行累加，返回v1+v2 就是累加的值
*/
val result: RDD[(String, Int)] = values.reduceByKey((v1:Int, v2:Int)=>{v1+v2})
//遍历结果
result.foreach(println)
//关闭
sc.stop()
}第二版：
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
conf.setAppName("workcount")
conf.setMaster("local")
val sc = new SparkContext(conf)
val result = sc.textFile("./words").flatMap(line=>line.split(" ")).map(world=>new Tuple2(world,1)).reduceByKey((v1:Int, v2:Int)=>{v1+v2})
result.foreach(println)
sc.stop()
}第三版本：最简版本
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
conf.setAppName("workcount")
conf.setMaster("local")
val sc = new SparkContext(conf)
val result = sc.textFile("./words").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_)
result.foreach(println)
sc.stop()
}简化后解释：
xxx.flatMap(line=>line.split(" "))中参数line只在=>后面使用一次，可以用 "_" 符号来表示该参数，xxx.flatMap(_.split(" "))
xxx.map(world=>new Tuple2(world,1))中world参数也是在=>后只使用一次，可以使用 "_"来表示，元组可以省略new,也可以省略Tuple2,xxx.map((_,1))
xxx.reduceByKey((v1:Int, v2:Int)=>{v1+v2})中v1,v2也是在=>后只使用一次，均可以使用"_"来表示，xxx.reduceByKey((_+_)
看完上述内容，你们对spark01--scala 的wordcount的过程是怎样的有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注亿速云行业资讯频道，感谢大家的支持。
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
原文链接：https://my.oschina.net/u/3962987/blog/3079226
