本文来源：通通学--知识学习与分享平台
转载链接：http://www.tongtongxue.com/archives/220.html
HDFS: Hadoop Distributed File System 分布式文件系统
MapReduce：并行计算框架
Yarn：集群资源管理和调度框架
适合大数据的分布式存储、计算、资源管理平台
作者：Doug Cutting
受Google三篇论文的启发
主从结构
主节点，只有一个: namenode
从节点，有很多个: datanodes
namenode负责：
接收用户操作请求
维护文件系统的目录结构
管理文件与block之间关系，block与datanode之间关系
datanode负责：
存储文件
文件被分成block存储在磁盘上
为保证数据安全，文件会有多个副本
主从结构
主节点，只有一个: ResourceManager
控制节点，每个Job都有一个MRAppMaster
从节点，有很多个: YarnChild
ResourceManager负责：
接收客户提交的计算任务
把Job分给MRAppMaster执行
监控MRAppMaster的执行情况
MRAppMaster负责：
负责一个Job执行的任务调度
把Job分给YarnChild执行
监控YarnChild的执行情况
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
