hadoop的高可用

hadoopHA

数据类型

结构化数据RDMS

非结构化数据借助算法goole pagerank

半结构算法xmljson通过标签进行。

一般情况下可以通过并行处理机制提高处理数据效率但是对于海量数据的加载是很慢的所以需要使用分布式文件系统只需要从本地磁盘上加载就好了所以速度很快。

hadoop集群mapreduce框架其函数要自己写。

在hadoopHA 集群中,通常有两台不同的机器充当 NameNode。在任何时间,只有一台机器处于Active 状态;另一台机器是处于 Standby 状态。

在本片文档中主要体现两个高可用

hdfs和yarn

hdfs是

在本文档中

server1server5作为NN和RMserver2,server3,server4作为DNZK和DN.

本篇文档从zookeeper开始关于基础配置请参考http://12237658.blog.51cto.com

本实验出现的错误事项

1、内存划分要足够本次一共启用5个虚拟机server1和server5要求大于1Gserver2,3,4不能小于768.

2、再格式化过程中第一次格式化需要先启动日志进程sbin/hadoop.daem.sh start journalnode

[hadoop@server2/3/4 hadoop]$ sbin/hadoop-daemon.sh start journalnode

3、再启动过程中,zookeeper会发生服务提不起来的情况在此情况下一般是myid的错误或者端口被占用

4、在启动hdfs服务时可能出现namenode 或datanode不出现的情况此时一般要查看日志信息根据日志信息作出更改

5、服务尽量不要多次重复充起因为会导致进程混乱例如zookeeper的进程号和其文件中进程号不一致。[hadoop@server3 zookeeper]$ cat zookeeper_server.pid 1236 

zookeeper的启动

下载tar包解压到hadoop的家目录

[hadoop@server3 ~]$ ls

hadoop        java         zookeeper        zookeeper-3.4.9.tar.gz

hadoop-2.7.3  jdk1.7.0_79  zookeeper-3.4.9

修改配置文件

[hadoop@server3 conf]$ cat zoo.cfg 

# The number of milliseconds of each tick

tickTime=2000//ZK中的一个时间单元zk中所有时间都是以这个时间为基础以毫秒计用来调节心跳和超时。

# The number of ticks that the initial 

# synchronization phase can take

initLimit=10//Follower 在启动过程中,会从 Leader 同步所有最新数据,然后确定自己能够对外服务的起始状态。

# The number of ticks that can pass between 

# sending a request and getting an acknowledgement

syncLimit=5  //在运行过程中,Leader 负责与 ZK 集群中所有机器进行通信,例如通过一些心跳检测机制,来检测机器的存活状态。

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just 

# example sakes.

dataDir=/tmp/zookeeper   //存储快照文件 snapshot 的目录。默认情况下,事务日志也会存储在这里。建议同时配置参数 dataLogDir, 事务日志的写性能直接影响 zk 性能。在生产环境中该目录应该为一个稳定的目录而不应该是在tmp下因为tmp在一定时间后会被清除。

# the port at which the clients will connect

clientPort=2181   //客户端连接 server 的端口,即对外服务端口

# the maximum number of client connections.

# increase this if you need to handle more clients

#maxClientCnxns=60

#

# Be sure to read the maintenance section of the 

# administrator guide before turning on autopurge.

#

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

# The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

server.1=172.25.33.2:2888:3888

server.2=172.25.33.3:2888:3888

server.3=172.25.33.4:2888:3888

server的编号应该和myid的数字一致myid在dataDir下。

echo “1”> /tmp/zookeeper/myid ....

启动zookeeper//2,3,4启动。

[hadoop@server3 zookeeper]$ echo "2" > /tmp/zookeeper/myid

[hadoop@server3 zookeeper]$ bin/zkServer.sh start

ZooKeeper JMX enabled by default

Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

[hadoop@server3 zookeeper]$ bin/zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg

Mode: follower

配置hadoop的hdfs

cat core-site.xml

<configuration>

<property>

        <name>fs.defaultFS</name>

                <value>hdfs://master</value>

                    </property>

<property>

        <name>ha.zookeeper.quorum</name><!--zookeeper集群主机地址-->

                <value>172.25.33.2:2181,172.25.33.3:2181,172.25.33.3:2181,172.25.33.4:2181</value>

</property>

</configuration>

cat hdfs-site.xml

<property>

                 <name>dfs.nameservices</name>

                         <value>masters</value>

                                 </property>

<!--master 下边有两个namenode节点分别是h2,h3

     -->

<property>

                <name>dfs.ha.namenodes.masters</name>

                        <value>h2,h3</value>

                                </property>

<!-- 指定 h2 节点的 rpc 通信地址

     -->

<property>

        <name>dfs.namenode.rpc-address.masters.h2</name>

                <value>172.25.33.1:9000</value>

</property>

<!-- 指定 h2 节点的 http 通信地址

     -->

<property>

        <name>dfs.namenode.http-address.masters.h2</name>

                <value>172.25.33.1:50070</value>

</property>

<!-- 指定 h3 节点的 rpc 通信地址

     -->

<property>

        <name>dfs.namenode.rpc-address.masters.h3</name>

                <value>172.25.33.5:9000</value>

</property>

<!-- 指定 h3 节点的 http 通信地址

     -->

<property>

        <name>dfs.namenode.http-address.masters.h3</name>

                <value>172.25.33.5:50070</value>

</property>

<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://172.25.33.2:8485;172.25.33.3:8485;172.25.33.4:8485/masters</value>

</property>

<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/tmp/journaldata</value>

</property>

<!-- 开启 NameNode 失败自动切换 -->

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

<!-- 配置失败自动切换实现方式 -->

<property>

        <name>dfs.client.failover.proxy.provider.masters</name>

                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

                                        </property>

<!-- 配置隔离机制方法,每个机制占用一行-->

<property>

        <name>dfs.ha.fencing.methods</name>

                <value>

                        sshfence

                        shell(/bin/true)

                </value>

                                </property>

<!-- 使用 sshfence 隔离机制时需要 ssh 免密码 -->

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hadoop/.ssh/id_rsa</value>

</property>

<!-- 配置 sshfence 隔离机制超时时间 -->

<property>

<name>dfs.ha.fencing.ssh.connect-timeout</name>

<value>30000</value>

</property>

</configuration>

[hadoop@server1 hadoop]$ cat slaves 

172.25.33.3

172.25.33.4

172.25.33.2

至此hdfs的高可用配置文件已经完成

在格式化hdfs之前要先将server2,3,4节点的journal服务打开因为hdfs在格式化的时候要与2,3,4的8485端口通信。

[hadoop@server2 hadoop]$ sbin/hadoop-daemon.sh start journalnode

starting journalnode, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-journalnode-server2.example.com.out

[hadoop@server2 hadoop]$ jps

2629 JournalNode

2398 QuorumPeerMain

2667 Jps

在这三个节点看到该jps进程那么说明可以格式化Hdfs了

[hadoop@server1 hadoop]$ bin/hdfs namenode -format

[hadoop@server1 hadoop]$ scp -r /tmp/hadoop-hadoop/ 172.25.33.5:/tmp

fsp_w_picpath_0000000000000000000                  100%  353     0.3KB/s   00:00    

fsp_w_picpath_0000000000000000000.md5              100%   62     0.1KB/s   00:00    

seen_txid                                    100%    2     0.0KB/s   00:00    

VERSION  

格式化zookeeper(只需在h2上执行)

[hadoop@server1 hadoop]$ bin/hdfs zkfc -formatZK

然后就可以启动服务了。

此时需要免密码认证所以该制作ssh-keygen的赶紧制作。有时需要用ssh试连各个节点破除yes

[hadoop@server1 hadoop]$ sbin/start-dfs.sh

检测[hadoop@server1/5 hadoop]$ jps

11212 DFSZKFailoverController

11482 Jps

10883 NameNode

通过网页的50070访问正常

172.25.33.150070

[hadoop@server1 hadoop]$ jps

11212 DFSZKFailoverController

11482 Jps

10883 NameNode

[hadoop@server1 hadoop]$ kill -9 10883

172.25.33.550070 

验证成功hdfs的高可用已经完成下边配置yarn的高可用

Apache Hadoop YARN Yet Another Resource Negotiator另一种资源协调者是一种新的 Hadoop 资源管理器它是一个通用资源管理系统可为上层应用提供统一的资源管理和调度它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处

cat mapred-site.xml

<configuration>

<!--指定为mapreduce的框架 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

cat yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<!-- 配置可以在 nodemanager 上运行 mapreduce 程序 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<!-- 激活 RM 高可用 -->

<property>

<name>yarn.resourcemanager.ha.enabled</name>

<value>true</value>

</property>

<!-- 指定 RM 的集群 id

     -->

<property>

<name>yarn.resourcemanager.cluster-id</name>

<value>RM_CLUSTER</value>

</property>

<!-- 定义 RM 的节点--><property>

<name>yarn.resourcemanager.ha.rm-ids</name>

<value>rm1,rm2</value>

</property>

<!-- 指定 RM1 的地址 -->

<property>

<name>yarn.resourcemanager.hostname.rm1</name>

<value>172.25.33.1</value>

</property>

<!-- 指定 RM2 的地址 -->

<property>

<name>yarn.resourcemanager.hostname.rm2</name>

<value>172.25.33.5</value>

</property>

<!-- 激活 RM 自动恢复

     -->

<property>

<name>yarn.resourcemanager.recovery.enabled</name>

<value>true</value>

</property>

<!-- 配置 RM 状态信息存储方式,有 MemStore 和 ZKStore-->

<property>

<name>yarn.resourcemanager.store.class</name>

<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

</property>

<!-- 配置为 zookeeper 存储时,指定 zookeeper 集群的地址 -->

<property>

<name>yarn.resourcemanager.zk-address</name>

<value>172.25.33.2:2181,172.25.33.3:2181,172.25.33.4:2181</value>

</property>

</configuration>

配置文件完成后启动yarn服务。

[hadoop@server1 hadoop]$ sbin/start-yarn.sh 

[hadoop@server1 hadoop]$ jps

13244 ResourceManager

11212 DFSZKFailoverController

13330 Jps

12814 NameNode

[hadoop@server5 ~]$ jps

1598 NameNode

1904 Jps

1695 DFSZKFailoverController

在另一个节点上并没有RM,需要手动启动

[hadoop@server5 hadoop]$ sbin/yarn-daemon.sh start resourcemanager

starting resourcemanager, logging to /home/hadoop/hadoop-2.7.3/logs/yarn-hadoop-resourcemanager-server5.example.com.out

[hadoop@server5 hadoop]$ jps

1598 NameNode

2018 Jps

1695 DFSZKFailoverController

1979 ResourceManager

172.25.33.18088

故障切换

[hadoop@server1 hadoop]$ jps

13244 ResourceManager

11212 DFSZKFailoverController

12814 NameNode

13923 Jps

[hadoop@server1 hadoop]$ kill -9 13244 

172.25.33.58088

使用zookeeper的命令行进行测试

[hadoop@server3 zookeeper]$ bin/zkCli.sh -server 127.0.0.1:2181

[zk: 127.0.0.1:2181(CONNECTED) 0] get /yarn-leader-election/RM_CLUSTER/ActiveBreadCrumb

RM_CLUSTERrm2

cZxid = 0x100000020

ctime = Tue Mar 07 22:05:16 CST 2017

mZxid = 0x100000053

mtime = Tue Mar 07 22:09:58 CST 2017

pZxid = 0x100000020

cversion = 0

dataVersion = 1

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 17

numChildren = 0

[zk: 127.0.0.1:2181(CONNECTED) 1] quit

Quitting...

结束5上的服务RM会切换到1上。

ActiveBreadCrumb           ActiveStandbyElectorLock

[zk: 127.0.0.1:2181(CONNECTED) 0] get /yarn-leader-election/RM_CLUSTER/ActiveBreadCrumb

RM_CLUSTERrm1

cZxid = 0x100000020

ctime = Tue Mar 07 22:05:16 CST 2017

mZxid = 0x10000008b

mtime = Tue Mar 07 22:15:14 CST 2017

pZxid = 0x100000020

cversion = 0

dataVersion = 2

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 17

numChildren = 0

[zk: 127.0.0.1:2181(CONNECTED) 1]

测试成功表示yarn的高可用已经完成。