温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

hadoop学习笔记1---Hadoop体系介绍

发布时间:2020-08-01 05:51:50 来源:网络 阅读:636 作者:断臂人 栏目:大数据

1、Namenode

HDFS的守护进程

记录文件时如何分割成数据块的,以及这些数据块被存储到哪些节点上

对内存和I/O进行集中管理

是个单点,发生故障将使集群崩溃


2、Secondary Namenode

监控HDFS状态的辅助后台程序

每个集群都有一个

与NameNode进行通讯定期保存HDFS元数据快照

当NameNode故障可以作为备用NameNode使用


3、DataNode

每台从服务器都运行一个

负责把HDFS数据块读写到本地文件系统


4、JobTracker

用于处理作业(用户提交代码)的后台程序

决定有哪些文件参与处理,然后切割task并分配节点

监控task,重启失败的task(于不同的几点)

每个集群只有唯一一个JobTracker,位于Master节点


5、TaskTracker

位于slave节点上,与datanode结合(代码与数据一起的原则)

管理各自节点上的task(由jobtracker分配)

每个节点只有一个tasktracker,但一个tasktracker可以启动多个JVM,用于并行执行map或reduce任务

与jobtracker交互


1.6、Master和Slave

Master:Namenode、Secondary Namenode、jobtracker。浏览器(用于观看管理界面),其它Hadoop工具

Slave:Tasktracker、Datenode

Master不是唯一的


向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI