这篇文章主要介绍了HDFS Namenode是怎么组成的,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。
fsimage镜像文件包含了整个HDFS文件系统的所有目录和文件的indoe信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等;对于目录来说包括修改时间、访问权限控制信息(目录所属用户,所在组等)等。
edit文件主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录,HDFS客户端执行所有的写操作都会被记录到edit文件中。
secondarynamenode通知namenode生成新的日志文件(edits.new),以后的日志都写到新的日志文件中。
secondarynamenode用http get从元数据节点获得fsimage文件及旧的日志文件(edits)。
secondarynamenode将fsimage文件加载到内存中,并执行日志文件(edits)中的操作,然后生成新的fsimage文件。
secondarynamenode将新的fsimage文件用http post传回namenode.
namenode可以将旧的fsimage文件及旧的日志文件(edits),换为新的fsimage文件和新的日志文件(第一步生成的)(edits.new -> edits),然后更新fstime文件,写入此次checkpoint的时间。
这样元数据节点中的fsimage文件保存了最新的checkpoint的元数据信息,日志文件也重新开始,不会变的很大了。
通过上面的步骤能有效减少edits文件的大小从而减少每次启动执行merge的时间。
注:http://p-x1984.iteye.com/blog/860290
NFS,shared NN EDITS LOG
感谢你能够认真阅读完这篇文章,希望小编分享的“HDFS Namenode是怎么组成的”这篇文章对大家有帮助,同时也希望大家多多支持亿速云,关注亿速云行业资讯频道,更多相关知识等着你来学习!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。