hadoop3.3集群搭建方法

本篇内容介绍了“hadoop3.3集群搭建方法”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce

概念

• HDFS 是一个分布式文件系统：引入存放文件元数据信息的服务器namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。　

• MapReduce 是一个计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobTracker）对任务进行分布式计算。

服务 fsimage:元数据镜像文件（文件系统的目录树。） edits：元数据的操作日志（针对文件系统做的修改操作记录） NameNode 处理客户端的读写请求；配置副本策略；保存HDFS的元数据信息，比如命名空间信息，块信息等。当它运行的时候，这些信息是存在内存（保存的fsimage+edits）中的。但是这些信息也可以持久化到磁盘上 SecondaryNameNode 是专门做NameNode 中edits 文件向fsimage 合并数据，然后再发给namenode，防止edits过大的一种解决方案 NodeManager管理一个YARN集群中的每一个节点。比如监视资源使用情况（ CPU，内存，硬盘，网络），跟踪节点健康等。 ResourceManager是Yarn集群主控节点，负责协调和管理整个集群（所有NodeManager）的资源 DataNode：负责存储client发来的数据块block；执行数据块的读写操作。 热备份：b是a的热备份，如果a坏掉。那么b马上运行代替a的工作。 冷备份：b是a的冷备份，如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息，减少a坏掉之后的损失。

集群

环境:

• centos7

• jdk1.8.0_241 / hadoop-3.3

本文使用的3.3新版本搭建集群（一主两从）

192.168.41.128   server1
192.168.41.129   server2
192.168.41.130   server3

#禁用selinux
/etc/selinux/config 

#配置免密登录
 ssh-keygen 
 ssh-copy-id -i .ssh/id_rsa.pub root@server2
 ssh-copy-id -i .ssh/id_rsa.pub root@server3

1. 安装jdk 略..

2. 下载解压: tar zxvf hadoop-3.3.0.tar.gz

3. 配置 详细查阅：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html

#Administrators should use the etc/hadoop/hadoop-env.sh and optionally the etc/hadoop/mapred-env.sh and etc/hadoop/yarn-env.sh scripts to do site-specific customization of the Hadoop daemons’ process environment.官网原话，意思要指定JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_241-amd64

#etc/hadoop/core-site.xml 
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://server1:9000</value>
  </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop-3.3.0/tmp</value>
 </property> 

#etc/hadoop/hdfs-site.xml，指定数据的副本数，小于等于从节点数
 <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
 <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>server1:50090</value>
  </property>

#etc/hadoop/yarn-site.xml，yarn配置资源管理器，提供统一的资源管理和调度
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
 <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>server1</value>
  </property>

#etc/hadoop/mapred-site.xml，mapreduce的执行引擎
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

4. 初始化hdfs: bin/hdfs namenode -format

5. 修改执行角色

#sbin/start-dfs.sh,sbin/stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
#sbin/start-yarn.sh,sbin/stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

6. 配置从节点 etc/hadoop/works,修改对应主机

7. 启动 sbin/start-all.sh

8. 访问 http://192.168.41.128:9870/ 即主机+端口可以访问显示如下说明成功了

“hadoop3.3集群搭建方法”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站，小编将为大家输出更多高质量的实用文章！