温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Linux64位操作系统(CentOS6.6)上如何编译spark1.3

发布时间:2020-04-05 19:26:56 来源:网络 阅读:558 作者:liyong0802 栏目:大数据

1.在官网下载1.3.0源码后执行如下命令:

./make-distribution.sh --tgz --skip-java-test --with-tachyon -Dhadoop.version=2.4.0 -Djava.version=1.7 -Dprotobuf.version=2.5.0 -Pyarn -Phive -Phive-thriftserver

2.参数说明:

  • --tgz 生成部署包;

  • --skip-java-test 滤过测试阶段;

  • --with-tachyon 感觉tachyon是趋势,所以加上tachyon的支持;

  • -Dhadoop.version 指定hadoop的版本,默认为1.0.4;

  • -Djava.version 指定java版本,默认是1.6;

  • -Dprotobuf.version 指定protobuf的版本,默认是2.4.1;这里指定是因为hadoop使用的2.5.0,不修改的话搭配的时候会出问题;

  • -Pyarn -Phive -Pthriftserver 分别加入yarn、hive的支持。

3.一个多小时后出现BUILD SUCCESS,即编译成功,可在spark-1.3.0文件夹中找到编译的文件。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI