如何实现Hadoop集群搭建

本篇内容主要讲解“如何实现Hadoop集群搭建”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“如何实现Hadoop集群搭建”吧!

一、建立Master到每一台Slave的SSH受信证书

1、伪分布式免密码ssh设置
?现在确认能否不输入口令就用ssh登录localhost:
$sshlocalhost

如果不输入口令就无法用ssh登陆localhost，执行下面的命令：
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

?安装ssh,并生成公钥和私钥
?运行ssh-keygen-trsa，根据屏幕提示直接选择“回车”
?会在用户目录~/.ssh/产生两个文件，id_rsa，id_rsa.pub
?cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

2、Hadoop集群搭建的SSH设置
master：
[fan@fan001~]$ssh-keygen-trsa
[fan@fan001~]$sshfan@fan002"mkdir.ssh;chmod0700.ssh"(重复)
[fan@fan001~]$scp~/.ssh/id_rsa.pubfan@fan002:.ssh/id_rsa.pub(重复)
[fan@fan001~]$cd.ssh
[fan@fan001.ssh]$cpid_rsa.pubauthorized_keys
[fan@fan001.ssh]$chmod600authorized_keys

slave：
[fan@fan002~]$touch.ssh/authorized_keys
[fan@fan002~]$cd.ssh
[fan@fan002.ssh]$catid_rsa.pub>>authorized_keys
[fan@fan001.ssh]$chmod600authorized_keys
OK,完成免密码ssh设置

二、启动Hadoop

1、伪分布式的启动：
格式化一个新的分布式文件系统：$bin/hadoopnamenode-format
启动Hadoop守护进程：$bin/start-all.sh
Hadoop守护进程的日志写入到${HADOOP_LOG_DIR}目录(默认是${HADOOP_HOME}/logs).

2、启动Hadoop
Hadoop集群搭建过程中启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。
Ø格式化一个新的分布式文件系统：$bin/hadoopnamenode-format
Ø在分配的NameNode上，运行下面的命令启动HDFS：$bin/start-dfs.sh
bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。
Ø在分配的JobTracker上，运行下面的命令启动Map/Reduce：$bin/start-mapred.sh
bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动TaskTracker守护进程。

3.停止Hadoop
Ø在分配的NameNode上，执行下面的命令停止HDFS：$bin/stop-dfs.sh
bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止DataNode守护进程。
Ø在分配的JobTracker上，运行下面的命令停止Map/Reduce：$bin/stop-mapred.sh
bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止TaskTracker守护进程。

到此，相信大家对“如何实现Hadoop集群搭建”有了更深的了解，不妨来实际操作一番吧！这里是亿速云网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！