计算
安全
数据库
网络和加速
企业服务
package mydemo
import org.apache.spark.{SparkConf, SparkContext}
object MyWordContextDemo {
def main(args: Array[String]): Unit = {
// 创建一个 Config
val conf = new SparkConf().setAppName("MyWordContext")
// 创建 SparkContext 对象
val sc = new SparkContext(conf)
// 使用sc 对象执行相应的算子
sc.textFile(args(0)) // 从第一个参数获取文件路径并打开
.flatMap(_.split(" ")) // 先 map 再压平
.map((_, 1)) // 将单词和 1 构成元组
.reduceByKey(_ + _) // 根据Key 进行 Reduce，并将 value 累加
.saveAsTextFile(args(1)) // 将结果输出到文件
// 停止 SparkContext 对象
sc.stop()
}
}==> 运行程序：
---> 首先将程序打包成 jar 包
---> 执行以下命令
spark-submit --master spark://bigdata0:7077 --class mydemo.MyWordContextDemo scalawordcontext.jar hdfs://192.168.10.210:9000:/output/scala/wordcontext.txt---> 命令解释：
---- spark-submit spark 命令
---- --master spark://bigdata0:7077
---- --class 指定类名
---- scalawordcontext.jar 将自己与的程序打成的jar 包
---- hdfs://192.168.10.210:9000/out/scala/wordcontext.txt 指定处理好的数据输出的文件
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
