温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

20180524早课记录17-Hadoop

发布时间:2020-04-07 13:26:18 来源:网络 阅读:337 作者:wangkunj 栏目:大数据
1.MapReduce谈谈你们的理解

执行引擎 计算

2.Map是什么

map:映射函数

3.Reduce是什么

reduce:规约函数

4.shuffle谈谈你们的理解

相当于洗牌 按key进行分组

5.wordcount那副图,脑子是否有印象?

不太深入

6.输入分片一般和什么有关?多少个分片就可以有多少个map task,对不对?

块大小 不对 会合并小文件

7.mapreduce架构设计中应用程序AM和task都运行在哪个抽象概念中?

container

8.假如hdfs的文件都是小文件,那么就会有多个map task,我们生产上一般设计时,是需要合并的或者设计我们文件存储时尽量保持一个文件在一个块大小(了解题)

是的

9.NM节点的内存和容器的内存参数哪几个?

yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.minimum-allocation-vcores
yarn.scheduler.maximum-allocation-vcores

10.容器是使用物理core还是虚拟core

虚拟core

11.总结一下mapreduce架构设计 wordcount博客 容器的概念,内存和vcore的参数设置
向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI