温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

centOS7下Spark怎么安装配置

发布时间:2022-04-12 16:22:23 来源:亿速云 阅读:162 作者:iii 栏目:编程语言

本篇内容介绍了“centOS7下Spark怎么安装配置”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

环境说明:

        操作系统: centos7 64位 3台
        centos7-1 192.168.190.130 master
        centos7-2 192.168.190.129 slave1
        centos7-3 192.168.190.131 slave2

    安装spark需要同时安装如下内容:

    jdk  scale 

    1.安装jdk,配置jdk环境变量

    这里不讲如何安装配置jdk,自行百度。

    2.安装scala

    下载scala安装包,选择符合要求的版本进行下载,使用客户端工具上传到服务器上。解压:

 #tar -zxvf scala-2.13.0-m4.tgz
  再次修改/etc/profile文件,添加如下内容:
  export scala_home=$work_space/scala-2.13.0-m4
  export path=$path:$scala_home/bin
  #source /etc/profile   // 让其立即生效
  #scala -version      //查看scala是否安装完成

    3.安装spark

    说明:有不同的版本包下载,选则你需要的下载安装即可

    source code: spark 源码,需要编译才能使用,另外 scala 2.11 需要使用源码编译才可使用
    pre-build with user-provided hadoop: “hadoop free” 版,可应用到任意 hadoop 版本
    pre-build for hadoop 2.7 and later: 基于 hadoop 2.7 的预先编译版,需要与本机安装的 hadoop 版本对应。可选的还有 hadoop 2.6。我这里因为装的hadoop是3.1.0,所以直接安装for hadoop 2.7 and later的版本。

            注:hadoop的安装请查看我的上一篇博客,不在重复描述。

centOS7下Spark怎么安装配置

centos7下spark安装配置
#mkdir spark 
#cd /usr/spark
#tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz
#vim /etc/profile
#添加spark的环境变量,加如path下、export出来
#source /etc/profile
#进入conf目录下,把spark-env.sh.template拷贝一份改名spark-env.sh
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7/conf
#cp spark-env.sh.template spark-env.sh
#vim spark-env.sh
export scala_home=/usr/scala/scala-2.13.0-m4
export java_home=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64
export hadoop_home=/usr/hadoop/hadoop-3.1.0
export hadoop_conf_dir=$hadoop_home/etc/hadoop
export spark_home=/usr/spark/spark-2.3.1-bin-hadoop2.7
export spark_master_ip=master
export spark_executor_memory=1g
#进入conf目录下,把slaves.template拷贝一份改名为slaves
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7/conf
#cp slaves.template slaves
#vim slaves
#添加节点域名到slaves文件中
#master   //该域名为centos7-1的域名
#slave1   //该域名为centos7-2的域名
#slave2   //该域名为centos7-3的域名

启动spark

#启动spark之前先要把hadoop节点启动起来
#cd /usr/hadoop/hadoop-3.1.0/
#sbin/start-all.sh
#jps //检查启动的线程是否已经把hadoop启动起来了
#cd /usr/spark/spark-2.3.1-bin-hadoop2.7
#sbin/start-all.sh
备注:在slave1\slave2节点上也必须按照上面的方式安装spark,或者直接拷贝一份到slave1,slave2节点上
#scp -r /usr/spark root@slave1ip:/usr/spark

启动信息如下:

starting org.apache.spark.deploy.master.master, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.master.master-1-master.out
slave2: starting org.apache.spark.deploy.worker.worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.worker-1-slave2.com.cn.out
slave1: starting org.apache.spark.deploy.worker.worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.worker-1-slave1.com.cn.out
master: starting org.apache.spark.deploy.worker.worker, logging to /usr/spark/logs/spark-root-org.apache.spark.deploy.worker.worker-1-master.out

测试spark集群:

用浏览器打开master节点上的spark集群

centOS7下Spark怎么安装配置

             

“centOS7下Spark怎么安装配置”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI