温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

hadoop机制有哪些

发布时间:2021-12-10 09:08:28 来源:亿速云 阅读:202 作者:iii 栏目:大数据

本篇内容介绍了“hadoop机制有哪些”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

1.简述 checkpoint机制

这里主要是用到了SN的作用,通过SN复制了原NN中的日志文件和SN中原有的镜像文件相结合,通过这样的原理,SN等同于是NN的一个副本,当NN服务器遇到故障重启时,可以通过SN来恢复数据。

2.如何单独重启 Namenode

  dfs-sh.start

3.简述HDFS读数据原理 

客户端将请求发给NN,然后NN同意读数据,然后NN通过客户端的请求信息从它里面的元数据去找数据的位置(存储要读取的数据的block块在那三个DN里),然后把这些信息返回给客户端,客户端再通过这些信息去DN中拿数据。

4.如何启动zookeeper集群,如何确定zookeeper集群启动成功,如何停止zookeeper集群

ZkCli.sh,zkCli.sh status,zkCli.sh stop

5.简述HDFS的HA高可用集群原理 

最少需要两台NN服务器,当其中一台NN服务器遇到故障,hadoop由于自带了一个False检测文件,它会间隔一小段时间就会向另一台服务器发送心跳告诉另一台服务器,它监管的这台在用的服务器有没有问题,监测正在运行服务器是不是坏掉了,当它检测到服务器坏掉之后,它会告诉它连接的另一台在standby的服务器,然后standby的服务器就会启动。

关于standby的服务器如何和正在运行的服务器的数据保持一致:

两台服务器之间有一个数据文件监管系统,由zookeeper集群管理它,通过zookeeper保证它的数据一致性并且对它进行上下文调度管理,它用来保存runing服务器的变化的日志文件,然后发送到standby服务器上,standby服务器会根据这些日志文件以及本身的元数据形成一个与running服务器保持一致的服务器。

关于脑裂:有时候可能因为网络原因,false检查工具还是发送了需求让standby启动,这样就同时存在了两台NN服务器,这时候数据就会混乱。

脑裂的处理办法:1. kill -9  2.使用shell脚本

“hadoop机制有哪些”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI