温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Spark提交作业的示例分析

发布时间:2021-12-16 18:49:43 来源:亿速云 阅读:193 作者:柒染 栏目:大数据

今天就跟大家聊聊有关Spark提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

初尝试

cd software/spark-3.0.1-bin-hadoop2.7

  1. 启动 master

./sbin/start-master.sh

访问 http://localhost:8080 得到 spark://MacBook-Pro-2.local:7077

  1. 启动 Worker

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://MacBook-Pro-2.local:7077

访问 http://localhost:8081 可查看提交的作业

  1. 提交作业

./bin/spark-submit --master spark://MacBook-Pro-2.local:7077 --class morning.cat.SparkTest /Users/morningcat/Documents/java-project/spark-demo/out/artifacts/spark_demo_jar/spark-demo.jar

package morning.cat;

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.rdd.RDD;

public class SparkTest {

    public static void main(String[] args) {

        SparkConf sparkConf = new SparkConf().setAppName("SparkTest").setMaster("spark://MacBook-Pro-2.local:7077");
        SparkContext sparkContext = new SparkContext(sparkConf);
        RDD<String> rdd = sparkContext.textFile("/Users/morningcat/Documents/settings.xml", 1);
        long lineCount = rdd.count();
        System.out.println(lineCount);
    }
}

看完上述内容,你们对Spark提交作业的示例分析有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注亿速云行业资讯频道,感谢大家的支持。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI