温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Hadoop1.2.1集群如何搭建

发布时间:2021-12-09 15:37:40 来源:亿速云 阅读:159 作者:小新 栏目:云计算

这篇文章主要为大家展示了“Hadoop1.2.1集群如何搭建”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Hadoop1.2.1集群如何搭建”这篇文章吧。

Hadoop集群搭建(-v1.2.1)

1. 官网下载安装包(版本: 1.2.1) 2. 安装依赖

  • Java 和 ssh

3. 解压安装包,添加HADOOP_HOME变量到/etc/profile 4. 搭建集群

  1. 机器规划(三台小集群)

<table> <tr><th>主机名</th><th>IP</th><th>Node</th><th>Tracker</th></tr> <tr><td>master</td><td>192.168.10.1</td><td>NameNode</td><td>JobTracker</td></tr> <tr><td>slave1</td><td>192.168.10.1</td><td>DateNode</td><td>TaskTracker</td></tr> <tr><td>slave2</td><td>192.168.10.2</td><td>DateNode</td><td>TaskTracker</td></tr> <tr><td>slave3</td><td>192.168.10.3</td><td>DateNode</td><td>TaskTracker</td></tr> </table>

  1. 在三台机器上创建相同的用户: hadoop

  2. 在三台机器上分别配置/etc/hosts

192.168.10.1 master slave1 192.168.10.2 slave2 192.168.10.3 slave3

  1. 在三台机器上建立ssh-key,并设置免密码登陆

    $ ssh-keygen -t dsa
    $ cat ~/ssh/id_dsa.pub >> ~/ssh/authorized_keys


authorized_keys文件内容复制到另外两台主机的~/ssh/authorized_keys文件中 5. 将Hadoop安装包复制到三台机器中,修改Hadoop中的配置文件 - conf/Hadoop-env.sh export JAVA_HOME=path-to-jdk - conf/core-site.xml xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/tmp/hadoop</value> </property> </configuration> - conf/hdfs-site.xml xml <configuration> <property> <name>dfs.repliation</name> <value>3</value> <!--value的值跟slave数一致 --> </property> </configuration> - conf/mapred-site.xml xml <configuration> <property> <name>mapred.job.tracker</name> <value>hdfs://master:9001</value> </property> </configuration> - conf/master master - conf/slave text slave1 slave2 slave3

5. 启动Hadoop服务

$ bin/hadoop namenode -format  #格式化hdfs
$ bin/start-all.sh  # 启动所有进程
查看集群状态:
http://localhost:50030  # MapReduce的Web页面
http://localhost:50070  # HDFS的Web页面
或
$ hadoop dfsadmin -report

6. 停止Hadoop服务 bin/stop-all.sh

以上是“Hadoop1.2.1集群如何搭建”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI