这篇文章主要讲解了“NameNode工作机制和DataNode副本工作机制原理”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“NameNode工作机制和DataNode副本工作机制原理”吧！
NameNode（以下简称NN）的工作机制：
1、用户上传数据的操作保存内存缓存中，同时往edits.log文件写入
2、edits.log文件是一个临时的日志文件，且随着edits.log文件达到一定大小之后会将数据写入到另一个edits.log2文件，因此会产生多个edits.log小文件
3、多个edits.log小文件通过SecondaryNameNode（以下简称SN）节点最终保存在本地的fsimage文件中的
4、NN每隔一段时间向SN发送checkpoint请求（fsimage和edits.log的合并）
5、SN从NN上下载fsimage和edits.log文件，然后请求edits.log文件更改文件名为edits.new
6、SN将fsimage和edits.log在内存合并运算、整合，生成新的fsimage.checkpoint，通知NN
7、NN接到通知后从SN下载fsimage.checkpoint
8、NN将fsimage.checkpoint和edits.new文件改回原来的名字
DataNode（以下简称DN）的副本生成机制：
DN采用pipeline（管道）机制对数据进行副本的复制，客户端从提交到DN时只有一个副本，DN根据NN传来的各个主机形成一个管道，一旦有数据往DN的第一个节点传输数据时，DN就会往管道内的其他DN节点异步通过网络复制数据，只有当所有节点拷贝完成，这个管道才算成功，否则DN会向NN通知复制副本失败，NN接收到DN失败请求，会根据拷贝好的成功的节点和失败的节点做一个调整，重新形成新的管道（例如：有3个节点在传输，假如3个节点传输失败，这个管道就失败了，NN在重新选择的时候会将传输成功的第2个节点与其他非原来第3个节点的节点再次形成管理进行副本的复制）
感谢各位的阅读，以上就是“NameNode工作机制和DataNode副本工作机制原理”的内容了，经过本文的学习后，相信大家对NameNode工作机制和DataNode副本工作机制原理这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
