温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

如何构造分布式Hadoop2.2.0集群

发布时间:2021-12-16 14:27:20 来源:亿速云 阅读:112 作者:iii 栏目:云计算

本篇内容主要讲解“如何构造分布式Hadoop2.2.0集群”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“如何构造分布式Hadoop2.2.0集群”吧!

构造分布式Hadoop2.2.0集群

1,在Windows 7(本教程中的Spark集群运行的机器是8G的Windows内存)上安装VMware虚拟机(我们安装的是VMware-workstation-full-9.0.2)

如何构造分布式Hadoop2.2.0集群

2,在VMvare中装三台Ubuntu机器(我们使用的是ubuntu-12.10-desktop-i386),每台机器分配2G的内存

1,在Windows 7(本教程中的Spark集群运行的机器是8G的Windows内存)上安装VMware虚拟机(我们安装的是VMware-workstation-full-9.0.2)

如何构造分布式Hadoop2.2.0集群

3,分别在三台Ubuntu机器中设置root用户机器密码,以后每次登录的时候都是用root用户登录,具体设置方式如下:

  •  sudo  -s进入 root用户权限模式

  •  vim /etc/lightdm/lightdm.conf

[SeatDefaults]

greeter-session=unity-greeter

user-session=Ubuntu

greeter-show-manual-login=true

allow-guest=false   

  • 启动root帐号:
    sudo passwd root

三台机器修改后,再次登录系统的时候用root用户登录:

如何构造分布式Hadoop2.2.0集群

4,配置三台机器的/etc/hosts和/etc/hostname并安装ssh设置三台机器之间的无密码登录,具体步骤可参考Spark实战高手之路-第一章的第一节 http://t.cn/RPo13rO 和Spark实战高手之路第一章的第二节http://t.cn/RP9klmr 我们在“/etc/hostname”文件中把三台机器的hostname分别设置了SparkMaster、SparkWorker1、SparkWorker2并在每台机器的“/etc/hosts”配置如下IP和机器名称的对应关系:

如何构造分布式Hadoop2.2.0集群

配置好三天机器相互通信的ssh后会发现三台机器可以相互使用ssh无密码登录:

如何构造分布式Hadoop2.2.0集群

如何构造分布式Hadoop2.2.0集群

5,在三台Ubuntu机器上安装Java

安装完成的可以验证一下:

如何构造分布式Hadoop2.2.0集群

如何构造分布式Hadoop2.2.0集群

如何构造分布式Hadoop2.2.0集群

三台Ubuntu机器分别出现上述信息就表明Java安装正确。

6,在SparkMaster这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为:

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/

我们下载的是“hadoop-2.2.0.tar.gz  ”,如下图所示:

如何构造分布式Hadoop2.2.0集群

到此,相信大家对“如何构造分布式Hadoop2.2.0集群”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI